Jump to content
Search In
  • More options...
Find results that contain...
Find results in...
  • Sign Up

Правильный robots.txt

Alex82
 Share Followers 2

Recommended Posts

Alex82    0

Alex82
Posted

Здравствуйте.

После установки Версия ocStore 2.1.0.1 стоит такой robots.txt:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
 
Подскажите, нашел вот такой, стоит ли заменить?:
 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
 
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: Vash_domen

 

Link to post
Share on other sites

Shureg    476

Shureg
Posted (edited)

А самому глянуть, какие параметры у вас на сайте есть и нужны, какие нет?

Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

 - у вас такое есть? Если нет, то зачем заменять? Да и если есть, еще вопрос, надо ли так лихо категории выкидывать.

 И сайтмэп данного форума совсем не помогает это определить.

Edited by Shureg
Link to post
Share on other sites

Alex82    0

Alex82
  • Author
Posted

А самому глянуть, какие параметры у вас на сайте есть и нужны, какие нет?

Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category

 - у вас такое есть? Если нет, то зачем заменять? Да и если есть, еще вопрос, надо ли так лихо категории выкидывать.

 И сайтмэп данного форума совсем не помогает это определить.

К сожалению в этом я чайник. Нужен правильный robots.txt для хорошей индексации контента. Подскажите где поискать готовый? 

Link to post
Share on other sites

Shureg    476

Shureg
Posted

К сожалению в этом я чайник. Нужен правильный robots.txt для хорошей индексации контента. Подскажите где поискать готовый? 

Готовый у вас из коробки идет. А всякие кастомные изменения зависят от вашего сайта. Пихание разных роботов "от балды", в лучшем случае, не будет иметь никакого эффекта, в худшем - выбросит какие-нибудь нужные страницы из индексации.

Link to post
Share on other sites

Alex82    0

Alex82
  • Author
Posted

Готовый у вас из коробки идет. А всякие кастомные изменения зависят от вашего сайта. Пихание разных роботов "от балды", в лучшем случае, не будет иметь никакого эффекта, в худшем - выбросит какие-нибудь нужные страницы из индексации.

То есть оставить первый, но там нет вот этих строк

 
Host: Vash_domen
 
Добавить нужно?
Link to post
Share on other sites

ocdev_pro    539

ocdev_pro
Posted (edited)

Все хорошо, но все вопросы по поводу robots.txt окончательно отпадают после прочтения статьи из google support
 

Нельзя использовать файл robots.txt, чтобы скрыть страницу из результатов Google Поиска.

А это говорит о том, что все страницы которые вы якобы попытаетесь скрыть из поиска все равно будут проиндексированы, но попадут в "сопли" supplements results. Что совсем не ок.

Для OC 2.x - Делаем следующее

 

В сумме выходит, что жестко через мета-тег закрываем ненужные страницы для индекса... А в роботс оставляем только несколько строчек
Ну и страницы сортировки (sort, limit) итд попадут в сопли

Пример robots.txt после внедрения мета-тег robots в движок примерно вот такой:
 

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /download
Disallow: /system

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap
Edited by Waha
Link to post
Share on other sites
1
1

  • 2 weeks later...

miralya    0

miralya
Posted

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

Link to post
Share on other sites

  • 3 weeks later...

Eldaeron    127

Eldaeron
Posted (edited)

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

 тсс, только никому не говорите - http://baby-dream.kiev.ua/robots.txt

 

Вам кто интересно делал такой robots?  :ph34r:

Edited by Eldaeron
  • +1 2
Link to post
Share on other sites
1

  • 8 months later...
  • 3 months later...

wellcom    0

wellcom
Posted (edited)
В 14.05.2016 в 19:26, miralya сказал:

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/  Если подходит, то пишите в личку, вышлю бесплатно.

Спасибо, нашел ))

Edited by wellcom
Link to post
Share on other sites

  • 2 months later...

Leooonov    1

Leooonov
Posted

DPuDtmTm.png

Ребят помогите пожалуйста разобраться, практически все страницы в гугле запрещены в роботсе, хотя роботс ставил стандартный и добавил только хост и ссылку на сайтмап...
Вот сам роботс:
 

User-agent: *
Host: сайт
Sitemap: http://сайт/index.php?route=extension/feed/google_sitemap
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Link to post
Share on other sites

Leooonov    1

Leooonov
Posted (edited)
В 02.06.2016 в 18:27, Eldaeron сказал:

 тсс, только никому не говорите - http://baby-dream.kiev.ua/robots.txt

Взял себе, проблема решилась на половину. стало не 3500 предупреждений, а 1700, че делать хз))))))

Edited by Leooonov
Link to post
Share on other sites

Yuri530    2

Yuri530
Posted

Здравствуйте! В один не прекрасный день в Я.Вебмастере обнаружил такую вещь. Относится это ко все товарам сайта http://prntscr.com/g47pfa появился лишний слэш перед url, наверное в этом дело, но откуда это взялось? При этом все ссылки на сайте рабочие. Я думал, что дело в robots.txt на днях правил его, посмотрел и ничего подобного там не увидел. Скажите пожалуйста, в чём может быть дело?

Link to post
Share on other sites

Eldaeron    127

Eldaeron
Posted
47 минут назад, Leooonov сказал:

Взял себе, проблема решилась на половину. стало не 3500 предупреждений, а 1700, че делать хз))))))

 

Изучать проблемы... И решать их.

Link to post
Share on other sites
1

Yuri530    2

Yuri530
Posted
3 часа назад, Yuri530 сказал:

Здравствуйте! В один не прекрасный день в Я.Вебмастере обнаружил такую вещь. Относится это ко все товарам сайта http://prntscr.com/g47pfa появился лишний слэш перед url, наверное в этом дело, но откуда это взялось? При этом все ссылки на сайте рабочие. Я думал, что дело в robots.txt на днях правил его, посмотрел и ничего подобного там не увидел. Скажите пожалуйста, в чём может быть дело?

это не слэш лишний, а два подряд урла. Поддержка яндекса посоветовала закрыть от индексации Disallow: /https

Link to post
Share on other sites

PsyKing    0

PsyKing
Posted

Здравствуйте!

Подскажите сделал robots.txt. Я.вебмастер ругается, что нет директивы Host, при проверки игнорирует её и Sitemap, хотя они в файле указаны https://prnt.sc/g6xnje

Что не так?

Link to post
Share on other sites

PsyKing    0

PsyKing
Posted
6 часов назад, AlexDW сказал:

проверьте сервисом самого яши

 

Делаю там анализ, всё показывает, кроме Host и Saitmap. При этом ругается, что в файле не задана директрисах Host

Link to post
Share on other sites

  • 7 months later...

michael11    0

michael11
Posted

Подскажите, пожалуйста. Если есть Seo Pro, в robots прописывать изначальные урл, или уже чпу? Воспринимает робот эти адреса как один, или как разные? Если как разные, то нужно закрывать все изначальные урл, чтобы не было дублей? 

Link to post
Share on other sites

Alexadr    0

Alexadr
Posted

Уважаемые знатоки данного инструмента, посмотрите правильный ли роботс на сайте? 

Дело в том, что выпадают страницы с гугла, в серч сонсоле ГУГЛ пишет ошибку Отправленный URL не выбран в качестве канонического (2221 шт) /// Вариант страницы с тегом canonical (7413 шт) Товара на сайте около 2600 страниц. С яндексом все норм, все страницы видны. Грешу на robots.txt . Подскажите, что исправить можно. Сайту пол года, на https не переходил. В гугле проиндексировано и видно было 2400 примерно товара, теперь 500+ осталось. Заранее спасибо.

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*/reviews/

Sitemap: http://сайт.ua/sitemap.xml
Host: http://сайт.ua

Link to post
Share on other sites

  • 3 weeks later...

ivanzp    0

ivanzp
Posted

Добрый день подскажите пожалуйста кто в курсе что в моем файле робот неправильно? 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Followers 2
Go to topic listing

  • Similar Content

    • ipg2007
      Настроить правильно sitemap и robots.txt
      By ipg2007
      Меня интересует правильная настройка sitemap. Сейчас динамическая карта находится https://gemelli.com.ua/index.php?route=extension/feed/google_sitemap, а для search console показывается карта с url sitemap.xml - статическая. Мне нужно что-бы динамическая карта попадала в статическую и для googl показывалась с правильным ЧПУ. Настроить приоритеты и время обновления, а также правильно настроить robots.txt.
    • Vasyasever
      Проверка файла Robots.txt
      By Vasyasever
      Добрый день! Ребят, столкнулись с такой проблемой, что в сеч консоли не индексируются страницы товаров и еще часть страниц сайта, по подсказке в сеч консоли пишет, что индексация заблокирована в файле Robots.txt.
      1.Не могу понять ,что закрыто или что не дописали, (есть подозрение , что его составляли от фонаря) 
      файл выглядит так : 
       
      User-agent: *
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Disallow: /*?tracking=
      Disallow: /*&tracking=
      User-agent: Yandex
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Clean-param: tracking
      Host: https://bogema2002.com.ua/ 
       
    • kamaro1990
      Настройка robots.txt
      By kamaro1990
      Кто как считает, какие страницы следует скрывать от ПС в robots.txt? На некоторых сайтах скрыто чуть ли не половина сайта (и корзина, и восстановление логина, и рега и т.д.). 
    • Gixoc
      Edit Robots.txt
      By Gixoc
      Редактор Robot.txt - модуль для редактирования robots.txt прямо из админки. Может кому понадобится)
       
      Если файла нет (как на оригинальном opencart'е к примеру), он его создаст. Устанавливается в модули, vQmod'а не требует, никакие файлы не перезаписывает.
       
      Распространяется — «как есть» (as is).
      Версия Opencart — 1.5, 2.1, 2.2, 2.3, 3.0.
      Установка — стандартная через Установку дополнений (через встроенный Ocmod). Для версии Opencart 1.5 — просто загрузите содержимое upload из архива 1.5.x.gixoc.editrobots.zip в корень сайта.
       
      Добавлена версия для OpenCart 3 (спасибо Nymphetamine за адаптацию)
       
      01.02.2019
      Теперь при нажатии на "Создать" ссылки генерируются с учетом ЧПУ Opencart, т.е. создаются действительные ссылки
       
      28.09.2018
      Добавил возможность создания не только самого файла robots.txt (если он не существует), но и его содержимое. 
      Теперь при нажатии на "Создать" - поле заполняется данными из файла robots.txt сборки ocStore соответствующей версии.
    • Gixoc
      [Поддержка] Edit Robots.txt
      By Gixoc
      Скачать/Купить дополнение


      Edit Robots.txt
      Редактор Robot.txt - модуль для редактирования robots.txt прямо из админки. Может кому понадобится)
       
      Если файла нет (как на оригинальном opencart'е к примеру), он его создаст. Устанавливается в модули, vQmod'а не требует, никакие файлы не перезаписывает.
       
      Распространяется — «как есть» (as is).
      Версия Opencart — 1.5, 2.1, 2.2, 2.3, 3.0.
      Установка — стандартная через Установку дополнений (через встроенный Ocmod). Для версии Opencart 1.5 — просто загрузите содержимое upload из архива 1.5.x.gixoc.editrobots.zip в корень сайта.
       
      Добавлена версия для OpenCart 3 (спасибо Nymphetamine за адаптацию)
       
      01.02.2019
      Теперь при нажатии на "Создать" ссылки генерируются с учетом ЧПУ Opencart, т.е. создаются действительные ссылки
       
      28.09.2018
      Добавил возможность создания не только самого файла robots.txt (если он не существует), но и его содержимое. 
      Теперь при нажатии на "Создать" - поле заполняется данными из файла robots.txt сборки ocStore соответствующей версии.
      Добавил Gixoc Добавлено 21.01.2018 Категория SEO, карта сайта, оптимизация Системные требования Сайт разработчика https://gixoc.ru Старая цена Метод активации Без активации Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 3.0
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 1.5.6.4.х Обращение к серверу разработчика  

  • Recently Browsing   0 members

    No registered users viewing this page.

Покупателям

Разработчикам

Полезная информация

Последние дополнения

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.

  I accept