Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
  • Sign Up

Правильный robots.txt

Alex82

By Alex82,
in Opencart 2.x: General questions

 Share

Recommended Posts

Alex82 Rookie

Alex82

Posted
Posted

Здравствуйте.

После установки Версия ocStore 2.1.0.1 стоит такой robots.txt:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
 
Подскажите, нашел вот такой, стоит ли заменить?:
 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
 
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: Vash_domen

 

Link to comment
Share on other sites

Shureg Grand Master

Shureg

Posted
Posted (edited)

А самому глянуть, какие параметры у вас на сайте есть и нужны, какие нет?

Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

 - у вас такое есть? Если нет, то зачем заменять? Да и если есть, еще вопрос, надо ли так лихо категории выкидывать.

 И сайтмэп данного форума совсем не помогает это определить.

Edited by Shureg
Link to comment
Share on other sites

Alex82 Rookie

Alex82

Posted
  • Author
Posted

А самому глянуть, какие параметры у вас на сайте есть и нужны, какие нет?

Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

 - у вас такое есть? Если нет, то зачем заменять? Да и если есть, еще вопрос, надо ли так лихо категории выкидывать.

 И сайтмэп данного форума совсем не помогает это определить.

К сожалению в этом я чайник. Нужен правильный robots.txt для хорошей индексации контента. Подскажите где поискать готовый? 

Link to comment
Share on other sites

Shureg Grand Master

Shureg

Posted
Posted

К сожалению в этом я чайник. Нужен правильный robots.txt для хорошей индексации контента. Подскажите где поискать готовый? 

Готовый у вас из коробки идет. А всякие кастомные изменения зависят от вашего сайта. Пихание разных роботов "от балды", в лучшем случае, не будет иметь никакого эффекта, в худшем - выбросит какие-нибудь нужные страницы из индексации.

Link to comment
Share on other sites

Alex82 Rookie

Alex82

Posted
  • Author
Posted

Готовый у вас из коробки идет. А всякие кастомные изменения зависят от вашего сайта. Пихание разных роботов "от балды", в лучшем случае, не будет иметь никакого эффекта, в худшем - выбросит какие-нибудь нужные страницы из индексации.

То есть оставить первый, но там нет вот этих строк

 
Host: Vash_domen
 
Добавить нужно?
Link to comment
Share on other sites

Alex82 Rookie

Alex82

Posted
  • Author
Posted

А вы описание почитайте и решите, нужно или нет

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

Да спасибо за статью. Я так понял что хост и карту сайта нужно добавить

Остальное оставить по умолчанию с коробки

Link to comment
Share on other sites

ocdev_pro Veteran

ocdev_pro

Posted
Posted (edited)

Все хорошо, но все вопросы по поводу robots.txt окончательно отпадают после прочтения статьи из google support
 

Нельзя использовать файл robots.txt, чтобы скрыть страницу из результатов Google Поиска.

А это говорит о том, что все страницы которые вы якобы попытаетесь скрыть из поиска все равно будут проиндексированы, но попадут в "сопли" supplements results. Что совсем не ок.

Для OC 2.x - Делаем следующее

 

В сумме выходит, что жестко через мета-тег закрываем ненужные страницы для индекса... А в роботс оставляем только несколько строчек
Ну и страницы сортировки (sort, limit) итд попадут в сопли

Пример robots.txt после внедрения мета-тег robots в движок примерно вот такой:
 

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap
Edited by Waha
Link to comment
Share on other sites
1
1

  • 2 weeks later...
  • 3 weeks later...
Eldaeron Mentor

Eldaeron

Posted
Posted (edited)

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

 тсс, только никому не говорите - http://baby-dream.kiev.ua/robots.txt

 

Вам кто интересно делал такой robots?  :ph34r:

Edited by Eldaeron
  • +1 2
Link to comment
Share on other sites
1

  • 8 months later...
  • 3 months later...
wellcom Explorer

wellcom

Posted
Posted (edited)
В 14.05.2016 в 19:26, miralya сказал:

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

Спасибо, нашел ))

Edited by wellcom
Link to comment
Share on other sites

  • 2 months later...
Leooonov Collaborator

Leooonov

Posted
Posted

DPuDtmTm.png

Ребят помогите пожалуйста разобраться, практически все страницы в гугле запрещены в роботсе, хотя роботс ставил стандартный и добавил только хост и ссылку на сайтмап...
Вот сам роботс:
 

User-agent: *
Host: сайт
Sitemap: http://сайт/index.php?route=extension/feed/google_sitemap
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Link to comment
Share on other sites

Leooonov Collaborator

Leooonov

Posted
Posted (edited)
В 02.06.2016 в 18:27, Eldaeron сказал:

 тсс, только никому не говорите - http://baby-dream.kiev.ua/robots.txt

Взял себе, проблема решилась на половину. стало не 3500 предупреждений, а 1700, че делать хз))))))

Edited by Leooonov
Link to comment
Share on other sites

Yuri530 Enthusiast

Yuri530

Posted
Posted

Здравствуйте! В один не прекрасный день в Я.Вебмастере обнаружил такую вещь. Относится это ко все товарам сайта http://prntscr.com/g47pfa появился лишний слэш перед url, наверное в этом дело, но откуда это взялось? При этом все ссылки на сайте рабочие. Я думал, что дело в robots.txt на днях правил его, посмотрел и ничего подобного там не увидел. Скажите пожалуйста, в чём может быть дело?

Link to comment
Share on other sites

Eldaeron Mentor

Eldaeron

Posted
Posted
47 минут назад, Leooonov сказал:

Взял себе, проблема решилась на половину. стало не 3500 предупреждений, а 1700, че делать хз))))))

 

Изучать проблемы... И решать их.

Link to comment
Share on other sites
1

Yuri530 Enthusiast

Yuri530

Posted
Posted
3 часа назад, Yuri530 сказал:

Здравствуйте! В один не прекрасный день в Я.Вебмастере обнаружил такую вещь. Относится это ко все товарам сайта http://prntscr.com/g47pfa появился лишний слэш перед url, наверное в этом дело, но откуда это взялось? При этом все ссылки на сайте рабочие. Я думал, что дело в robots.txt на днях правил его, посмотрел и ничего подобного там не увидел. Скажите пожалуйста, в чём может быть дело?

это не слэш лишний, а два подряд урла. Поддержка яндекса посоветовала закрыть от индексации Disallow: /https

Link to comment
Share on other sites

PsyKing Enthusiast

PsyKing

Posted
Posted
6 часов назад, AlexDW сказал:

проверьте сервисом самого яши

 

Делаю там анализ, всё показывает, кроме Host и Saitmap. При этом ругается, что в файле не задана директрисах Host

Link to comment
Share on other sites

  • 7 months later...
michael11 Explorer

michael11

Posted
Posted

Подскажите, пожалуйста. Если есть Seo Pro, в robots прописывать изначальные урл, или уже чпу? Воспринимает робот эти адреса как один, или как разные? Если как разные, то нужно закрывать все изначальные урл, чтобы не было дублей? 

Link to comment
Share on other sites

Alexadr Apprentice

Alexadr

Posted
Posted

Уважаемые знатоки данного инструмента, посмотрите правильный ли роботс на сайте? 

Дело в том, что выпадают страницы с гугла, в серч сонсоле ГУГЛ пишет ошибку Отправленный URL не выбран в качестве канонического (2221 шт) /// Вариант страницы с тегом canonical (7413 шт) Товара на сайте около 2600 страниц. С яндексом все норм, все страницы видны. Грешу на robots.txt . Подскажите, что исправить можно. Сайту пол года, на https не переходил. В гугле проиндексировано и видно было 2400 примерно товара, теперь 500+ осталось. Заранее спасибо.

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*/reviews/

Sitemap: http://сайт.ua/sitemap.xml
Host: http://сайт.ua

Link to comment
Share on other sites

  • 3 weeks later...
ivanzp Newbie

ivanzp

Posted
Posted

Добрый день подскажите пожалуйста кто в курсе что в моем файле робот неправильно? 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing

Покупателям

Разработчикам

Полезная информация

Последние дополнения

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.

  I accept