Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Правильный robots.txt


Recommended Posts

Здравствуйте.

После установки Версия ocStore 2.1.0.1 стоит такой robots.txt:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
 
Подскажите, нашел вот такой, стоит ли заменить?:
 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
 
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: Vash_domen

 

Надіслати
Поділитися на інших сайтах


А самому глянуть, какие параметры у вас на сайте есть и нужны, какие нет?

Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

 - у вас такое есть? Если нет, то зачем заменять? Да и если есть, еще вопрос, надо ли так лихо категории выкидывать.

 И сайтмэп данного форума совсем не помогает это определить.

Змінено користувачем Shureg
Надіслати
Поділитися на інших сайтах


А самому глянуть, какие параметры у вас на сайте есть и нужны, какие нет?

Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

 - у вас такое есть? Если нет, то зачем заменять? Да и если есть, еще вопрос, надо ли так лихо категории выкидывать.

 И сайтмэп данного форума совсем не помогает это определить.

К сожалению в этом я чайник. Нужен правильный robots.txt для хорошей индексации контента. Подскажите где поискать готовый? 

Надіслати
Поділитися на інших сайтах


К сожалению в этом я чайник. Нужен правильный robots.txt для хорошей индексации контента. Подскажите где поискать готовый? 

Готовый у вас из коробки идет. А всякие кастомные изменения зависят от вашего сайта. Пихание разных роботов "от балды", в лучшем случае, не будет иметь никакого эффекта, в худшем - выбросит какие-нибудь нужные страницы из индексации.

Надіслати
Поділитися на інших сайтах


Готовый у вас из коробки идет. А всякие кастомные изменения зависят от вашего сайта. Пихание разных роботов "от балды", в лучшем случае, не будет иметь никакого эффекта, в худшем - выбросит какие-нибудь нужные страницы из индексации.

То есть оставить первый, но там нет вот этих строк

 
Host: Vash_domen
 
Добавить нужно?
Надіслати
Поділитися на інших сайтах


А вы описание почитайте и решите, нужно или нет

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

Да спасибо за статью. Я так понял что хост и карту сайта нужно добавить

Остальное оставить по умолчанию с коробки

Надіслати
Поділитися на інших сайтах


Все хорошо, но все вопросы по поводу robots.txt окончательно отпадают после прочтения статьи из google support
 

Нельзя использовать файл robots.txt, чтобы скрыть страницу из результатов Google Поиска.

А это говорит о том, что все страницы которые вы якобы попытаетесь скрыть из поиска все равно будут проиндексированы, но попадут в "сопли" supplements results. Что совсем не ок.

Для OC 2.x - Делаем следующее

 

В сумме выходит, что жестко через мета-тег закрываем ненужные страницы для индекса... А в роботс оставляем только несколько строчек
Ну и страницы сортировки (sort, limit) итд попадут в сопли

Пример robots.txt после внедрения мета-тег robots в движок примерно вот такой:
 

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap
Змінено користувачем Waha
Надіслати
Поділитися на інших сайтах

  • 2 weeks later...
  • 3 weeks later...

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

 тсс, только никому не говорите - http://baby-dream.kiev.ua/robots.txt

 

Вам кто интересно делал такой robots?  :ph34r:

Змінено користувачем Eldaeron
  • +1 2
Надіслати
Поділитися на інших сайтах

  • 8 months later...
  • 3 months later...
В 14.05.2016 в 19:26, miralya сказал:

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

Спасибо, нашел ))

Змінено користувачем wellcom
Надіслати
Поділитися на інших сайтах


  • 2 months later...

DPuDtmTm.png

Ребят помогите пожалуйста разобраться, практически все страницы в гугле запрещены в роботсе, хотя роботс ставил стандартный и добавил только хост и ссылку на сайтмап...
Вот сам роботс:
 

User-agent: *
Host: сайт
Sitemap: http://сайт/index.php?route=extension/feed/google_sitemap
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Надіслати
Поділитися на інших сайтах


В 02.06.2016 в 18:27, Eldaeron сказал:

 тсс, только никому не говорите - http://baby-dream.kiev.ua/robots.txt

Взял себе, проблема решилась на половину. стало не 3500 предупреждений, а 1700, че делать хз))))))

Змінено користувачем Leooonov
Надіслати
Поділитися на інших сайтах


Здравствуйте! В один не прекрасный день в Я.Вебмастере обнаружил такую вещь. Относится это ко все товарам сайта http://prntscr.com/g47pfa появился лишний слэш перед url, наверное в этом дело, но откуда это взялось? При этом все ссылки на сайте рабочие. Я думал, что дело в robots.txt на днях правил его, посмотрел и ничего подобного там не увидел. Скажите пожалуйста, в чём может быть дело?

Надіслати
Поділитися на інших сайтах


47 минут назад, Leooonov сказал:

Взял себе, проблема решилась на половину. стало не 3500 предупреждений, а 1700, че делать хз))))))

 

Изучать проблемы... И решать их.

Надіслати
Поділитися на інших сайтах

3 часа назад, Yuri530 сказал:

Здравствуйте! В один не прекрасный день в Я.Вебмастере обнаружил такую вещь. Относится это ко все товарам сайта http://prntscr.com/g47pfa появился лишний слэш перед url, наверное в этом дело, но откуда это взялось? При этом все ссылки на сайте рабочие. Я думал, что дело в robots.txt на днях правил его, посмотрел и ничего подобного там не увидел. Скажите пожалуйста, в чём может быть дело?

это не слэш лишний, а два подряд урла. Поддержка яндекса посоветовала закрыть от индексации Disallow: /https

Надіслати
Поділитися на інших сайтах


Здравствуйте!

Подскажите сделал robots.txt. Я.вебмастер ругается, что нет директивы Host, при проверки игнорирует её и Sitemap, хотя они в файле указаны https://prnt.sc/g6xnje

Что не так?

Надіслати
Поділитися на інших сайтах


6 часов назад, AlexDW сказал:

проверьте сервисом самого яши

 

Делаю там анализ, всё показывает, кроме Host и Saitmap. При этом ругается, что в файле не задана директрисах Host

Надіслати
Поділитися на інших сайтах


  • 7 months later...

Подскажите, пожалуйста. Если есть Seo Pro, в robots прописывать изначальные урл, или уже чпу? Воспринимает робот эти адреса как один, или как разные? Если как разные, то нужно закрывать все изначальные урл, чтобы не было дублей? 

Надіслати
Поділитися на інших сайтах


Уважаемые знатоки данного инструмента, посмотрите правильный ли роботс на сайте? 

Дело в том, что выпадают страницы с гугла, в серч сонсоле ГУГЛ пишет ошибку Отправленный URL не выбран в качестве канонического (2221 шт) /// Вариант страницы с тегом canonical (7413 шт) Товара на сайте около 2600 страниц. С яндексом все норм, все страницы видны. Грешу на robots.txt . Подскажите, что исправить можно. Сайту пол года, на https не переходил. В гугле проиндексировано и видно было 2400 примерно товара, теперь 500+ осталось. Заранее спасибо.

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*/reviews/

Sitemap: http://сайт.ua/sitemap.xml
Host: http://сайт.ua

Надіслати
Поділитися на інших сайтах


  • 3 weeks later...

Добрый день подскажите пожалуйста кто в курсе что в моем файле робот неправильно? 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.