Оптимальное содержание robots.txt

[gregoro]

Добрый день!

 

Есть ли какой-то эталон файла robots на сегодня?

Что закрываете, что оставляете поисковику?

 

Можете поделиться? :-)

 

Спасибо!

[ArtemPitov]

а поиск по форуму ничего не дал ? 

есть много веток с подобными вопросами 

[gregoro]

Дал.

 

Порекомендовали скачать в последней версии OcStore

 

Там вот этот

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

 

Смутило меня главным образом то, что закрыты папки admin, catalog и system 

Так там же только image остается ему... :unsure:

Это нормально?) 

[Tom]

В каталоге можно открыть стили,скрипты и картинки.В админке делать ботам нечего.И в приведённом примере нет директив для яндекса.

[ArtemPitov]

Смутило меня главным образом то, что закрыты папки admin, catalog и system 

Роботу не нужно лазить сюда 

[gregoro]

В каталоге можно открыть стили,скрипты и каринки.В админке делать ботам нечего.И в приведённом примере нет директив для яндекса.

Для яндекса не копировал, т.к. они там идентичны вроде как. В роботс естественно полностью включу оба варианта.

 

Про скрипты и стили - да, спасибо. Гугл вроде как сейчас ругается если стили закрыты, т.к. он на мобильность страницы проверяет по ним.

[Tom]

Добавьте директивы Host и Sitemap этого вполне достаточно.Остальное сугубо индивидуально,в плане использования фильтра итд итп.

 

Host : ссылка на магазин(писать полностью с http или https)

Sitemap : ссылка на карту гугла(ту что в админке в Дополнения-Каналы продвижения)

[gregoro]

Добавьте директивы Host и Sitemap этого вполне достаточно.Остальное сугубо индивидуально,в плане использования фильтра итд итп.

 

Host : ссылка на магазин(писать полностью с http или https)

Sitemap : ссылка на карту гугла(ту что в админке в Дополнения-Каналы продвижения)

Понял, спасибо!

 

А по карте сайта не подскажете - что лучше использовать?

У меня стоит SEO CMS TOP 2, там есть своя...

Даже две - статически генерируемая (руками то есть, по нормальному адресу site.ru/sitemap.xml) и динамически генерируемая (по адресу index.php?route=record/google_sitemap_blog)

Обилие выбора не всегда хорошо :oops:

 

Я с WooCommerce перехожу. Там было проще - одна и точка, без вариантов :-)

[Tom]

А я же написал какую карту использовать.

 

Sitemap : ссылка на карту гугла(ту что в админке в Дополнения-Каналы продвижения)

[Yura17]

В каталоге можно открыть стили,скрипты и картинки.В админке делать ботам нечего.И в приведённом примере нет директив для яндекса.

Том если стоит 

Disallow: /catalog

то правильно ли будет указывать так :

Allow: /*.css

Allow: /*.js

Allow: /*.jpg

Allow: /*.png

и можно понять разве Disallow: /catalog - нужно закрывать или может его вообще не указывать в роботс.тхт? там ведь: категории, товар - просто не понимаю я как правильно роботс.тхт составлять ...

[Tom]

Проверка роботса в вебмастерах скажет больше чем я.