Правильный robots.txt

[Alex82]

Здравствуйте.

После установки Версия ocStore 2.1.0.1 стоит такой robots.txt:

 

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter=

Disallow: /*&filter=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

 

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter=

Disallow: /*&filter=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

 

Подскажите, нашел вот такой, стоит ли заменить?:

 

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*?page=

Disallow: /*&page=

Disallow: /wishlist

Disallow: /login

Disallow: /index.php?route=product/manufacturer

Disallow: /index.php?route=product/compare

Disallow: /index.php?route=product/category

 

 

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*route=product/search

Disallow: /*?page=

Disallow: /*&page=

Clean-param: tracking

Clean-param: filter_name

Clean-param: filter_sub_category

Clean-param: filter_description

Disallow: /wishlist

Disallow: /login

Disallow: /index.php?route=product/manufacturer

Disallow: /index.php?route=product/compare

Disallow: /index.php?route=product/category

Host: Vash_domen

Sitemap: http://Vash_domen/sitemap.xml

 

[Shureg]

А самому глянуть, какие параметры у вас на сайте есть и нужны, какие нет?

Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

 - у вас такое есть? Если нет, то зачем заменять? Да и если есть, еще вопрос, надо ли так лихо категории выкидывать.

 И сайтмэп данного форума совсем не помогает это определить.

Змінено 25 квітня 2016 користувачем Shureg

[Alex82]

А самому глянуть, какие параметры у вас на сайте есть и нужны, какие нет?

Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

 - у вас такое есть? Если нет, то зачем заменять? Да и если есть, еще вопрос, надо ли так лихо категории выкидывать.

 И сайтмэп данного форума совсем не помогает это определить.

К сожалению в этом я чайник. Нужен правильный robots.txt для хорошей индексации контента. Подскажите где поискать готовый? 

[Shureg]

К сожалению в этом я чайник. Нужен правильный robots.txt для хорошей индексации контента. Подскажите где поискать готовый? 

Готовый у вас из коробки идет. А всякие кастомные изменения зависят от вашего сайта. Пихание разных роботов "от балды", в лучшем случае, не будет иметь никакого эффекта, в худшем - выбросит какие-нибудь нужные страницы из индексации.

[Alex82]

То есть оставить первый, но там нет вот этих строк

 

Host: Vash_domen

Sitemap: http://Vash_domen/sitemap.xml

 

Добавить нужно?

[Alex82]

Готовый у вас из коробки идет. А всякие кастомные изменения зависят от вашего сайта. Пихание разных роботов "от балды", в лучшем случае, не будет иметь никакого эффекта, в худшем - выбросит какие-нибудь нужные страницы из индексации.

То есть оставить первый, но там нет вот этих строк

 

Host: Vash_domen

Sitemap: http://Vash_domen/sitemap.xml

 

Добавить нужно?

[Shureg]

А вы описание почитайте и решите, нужно или нет

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

[Alex82]

А вы описание почитайте и решите, нужно или нет

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

Да спасибо за статью. Я так понял что хост и карту сайта нужно добавить

Остальное оставить по умолчанию с коробки

[ocdev_pro]

Все хорошо, но все вопросы по поводу robots.txt окончательно отпадают после прочтения статьи из google support
 

Нельзя использовать файл robots.txt, чтобы скрыть страницу из результатов Google Поиска.

А это говорит о том, что все страницы которые вы якобы попытаетесь скрыть из поиска все равно будут проиндексированы, но попадут в "сопли" supplements results. Что совсем не ок.

Для OC 2.x - Делаем следующее

 

В сумме выходит, что жестко через мета-тег закрываем ненужные страницы для индекса... А в роботс оставляем только несколько строчек
Ну и страницы сортировки (sort, limit) итд попадут в сопли

Пример robots.txt после внедрения мета-тег robots в движок примерно вот такой:
 

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Змінено 1 травня 2016 користувачем Waha

[miralya]

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

[Eldaeron]

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

 тсс, только никому не говорите - http://baby-dream.kiev.ua/robots.txt

 

Вам кто интересно делал такой robots?  :ph34r:

Змінено 2 червня 2016 користувачем Eldaeron

[itmmax]

В 02.06.2016 в 18:27, Eldaeron сказал:

 тсс, только никому не говорите - http://baby-dream.kiev.ua/robots.txt

 

Вам кто интересно делал такой robots? 

Спасибо!

[wellcom]

В 14.05.2016 в 19:26, miralya сказал:

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

Спасибо, нашел ))

Змінено 16 травня 2017 користувачем wellcom

[Leooonov]

Ребят помогите пожалуйста разобраться, практически все страницы в гугле запрещены в роботсе, хотя роботс ставил стандартный и добавил только хост и ссылку на сайтмап...
Вот сам роботс:
 

User-agent: *
Host: сайт
Sitemap: http://сайт/index.php?route=extension/feed/google_sitemap
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

[Leooonov]

В 02.06.2016 в 18:27, Eldaeron сказал:

 тсс, только никому не говорите - http://baby-dream.kiev.ua/robots.txt

Взял себе, проблема решилась на половину. стало не 3500 предупреждений, а 1700, че делать хз))))))

Змінено 4 серпня 2017 користувачем Leooonov

[Yuri530]

Здравствуйте! В один не прекрасный день в Я.Вебмастере обнаружил такую вещь. Относится это ко все товарам сайта http://prntscr.com/g47pfa появился лишний слэш перед url, наверное в этом дело, но откуда это взялось? При этом все ссылки на сайте рабочие. Я думал, что дело в robots.txt на днях правил его, посмотрел и ничего подобного там не увидел. Скажите пожалуйста, в чём может быть дело?

[Eldaeron]

47 минут назад, Leooonov сказал:

Взял себе, проблема решилась на половину. стало не 3500 предупреждений, а 1700, че делать хз))))))

 

Изучать проблемы... И решать их.

[Yuri530]

3 часа назад, Yuri530 сказал:

Здравствуйте! В один не прекрасный день в Я.Вебмастере обнаружил такую вещь. Относится это ко все товарам сайта http://prntscr.com/g47pfa появился лишний слэш перед url, наверное в этом дело, но откуда это взялось? При этом все ссылки на сайте рабочие. Я думал, что дело в robots.txt на днях правил его, посмотрел и ничего подобного там не увидел. Скажите пожалуйста, в чём может быть дело?

это не слэш лишний, а два подряд урла. Поддержка яндекса посоветовала закрыть от индексации Disallow: /https

[PsyKing]

Здравствуйте!

Подскажите сделал robots.txt. Я.вебмастер ругается, что нет директивы Host, при проверки игнорирует её и Sitemap, хотя они в файле указаны https://prnt.sc/g6xnje

Что не так?

[AlexDW]

2 часа назад, PsyKing сказал:

Что не так?

проверьте сервисом самого яши

[PsyKing]

6 часов назад, AlexDW сказал:

проверьте сервисом самого яши

 

Делаю там анализ, всё показывает, кроме Host и Saitmap. При этом ругается, что в файле не задана директрисах Host

[michael11]

Подскажите, пожалуйста. Если есть Seo Pro, в robots прописывать изначальные урл, или уже чпу? Воспринимает робот эти адреса как один, или как разные? Если как разные, то нужно закрывать все изначальные урл, чтобы не было дублей? 

[Alexadr]

Уважаемые знатоки данного инструмента, посмотрите правильный ли роботс на сайте? 

Дело в том, что выпадают страницы с гугла, в серч сонсоле ГУГЛ пишет ошибку Отправленный URL не выбран в качестве канонического (2221 шт) /// Вариант страницы с тегом canonical (7413 шт) Товара на сайте около 2600 страниц. С яндексом все норм, все страницы видны. Грешу на robots.txt . Подскажите, что исправить можно. Сайту пол года, на https не переходил. В гугле проиндексировано и видно было 2400 примерно товара, теперь 500+ осталось. Заранее спасибо.

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*/reviews/

Sitemap: http://сайт.ua/sitemap.xml
Host: http://сайт.ua

[ivanzp]

Добрый день подскажите пожалуйста кто в курсе что в моем файле робот неправильно? 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

[AlexDW]

В 11.08.2017 в 03:18, AlexDW сказал:

проверьте сервисом самого яши

 

+ директивы host и sitemap добавьте