Правильный robots.txt

wolf883 · 14 січня 2019

Добрый день подскажите пожалуйста этот робот правильно написан для OpenCart 2.3?

Спасибо

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*compare-products

Disallow: /*search

Disallow: /*cart

Disallow: /*checkout

Disallow: /*login

Disallow: /*logout

Disallow: /*vouchers

Disallow: /*wishlist

Disallow: /*my-account

Disallow: /*order-history

Disallow: /*newsletter

Disallow: /*return-add

Disallow: /*forgot-password

Disallow: /*downloads

Disallow: /*returns

Disallow: /*transactions

Disallow: /*create-account

Disallow: /*recurring

Disallow: /*address-book

Disallow: /*reward-points

Disallow: /*affiliate-forgot-password

Disallow: /*create-affiliate-account

Disallow: /*affiliate-login

Disallow: /*affiliates

Disallow: /*?filter_tag=

Disallow: /*brands

Disallow: /*specials

Disallow: /*simpleregister

Disallow: /*simplecheckout

Disallow: *utm=

Allow: /catalog/view/javascript/

Allow: /catalog/view/theme/*/

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*compare-products

Disallow: /*search

Disallow: /*cart

Disallow: /*checkout

Disallow: /*login

Disallow: /*logout

Disallow: /*vouchers

Disallow: /*wishlist

Disallow: /*my-account

Disallow: /*order-history

Disallow: /*newsletter

Disallow: /*return-add

Disallow: /*forgot-password

Disallow: /*downloads

Disallow: /*returns

Disallow: /*transactions

Disallow: /*create-account

Disallow: /*recurring

Disallow: /*address-book

Disallow: /*reward-points

Disallow: /*affiliate-forgot-password

Disallow: /*create-affiliate-account

Disallow: /*affiliate-login

Disallow: /*affiliates

Disallow: /*?filter_tag=

Disallow: /*brands

Disallow: /*specials

Disallow: /*simpleregister

Disallow: /*simplecheckout

Disallow: *utm=

Allow: /catalog/view/javascript/

Allow: /catalog/view/theme/*/

Clean-Param: utm_source&utm_medium&utm_campaign site.ru

Host: https://site.ru

Sitemap: https://site.ru/index.php?route=feed/google_sitemap

Andrew0483 · 31 травня 2019

Вопрос правильности роботса - сугубо личное.

Для каждого сайта будет своя правильность.

Тут дело логических размышлений и выводов.

Например, не всем нужно скрывать от роботов страницу brands.

Есть единая рекомендация: забиваете страницу в браузер и смотрите: нужно ли её показывать юзерам? Или нужно ли выдавать роботу на обход админские файлы.

MIKEFM · 27 червня 2019

Проблема с robots.txt на OpenCart Version 2.3.0.2 (rs.6)

Товарищи, нужна ваша помощь! Я в Opencart ваще ноль, опыта не имею. И вот, запустив один сайт, столкнулся с такой бедой: Яндекс и Гугл не хотят индексировать категории, потому что они закрыты от индексации в файле robots.txt ! Но я там ничего не закрывал и лишнего не прописывал...

Когда удаляю всё содержимое файла robots.txt - всё хорошо, страница отдаёт 200 код. Возвращаю содержимое, проверяю ответ сервера в вебмастерах - везде запрещена индексация в роботсах.

Подскажите, в чём беда?

Содержимое файла robotx.txt:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Disallow: /*?filter_tag=
Disallow: /*brands
Disallow: /*specials
Disallow: /*simpleregister
Disallow: /*simplecheckout
Disallow: *utm=
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Disallow: /*?filter_tag=
Disallow: /*brands
Disallow: /*specials
Disallow: /*simpleregister
Disallow: /*simplecheckout
Disallow: *utm=
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

Змінено 27 червня 2019 користувачем MIKEFM

MIKEFM · 27 червня 2019

Проблему в Яндексе удалось решить.
Добавил слэш в конце одной строчки и теперь выглядит вот так:

Disallow: /catalog/

Но в Гугл Вебмастере проблема осталась.

vavvavava · 17 липня 2019

В 14.05.2016 в 19:26, miralya сказал:

Если нужен идеальный роботс. Посмотрите сайт: http://baby-dream.kiev.ua/ Если подходит, то пишите в личку, вышлю бесплатно.

:-o
Вот он)

User-agent: *
Disallow: /admin
Disallow: /sxd
Disallow: /fastorder
Disallow: /catalog
Disallow: /vqmod
Disallow: /image/simonfilter
Disallow: /download
Disallow: /system
Disallow: /login
Disallow: /forgot-password
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=account/wishlist
Disallow: /index.php?route=account/login
Disallow: /index.php?route=checkout/simplecheckout
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=account/simpleregister
Disallow: /index.php?route=information/contact
Disallow: /index.php?route=account/return/insert
Disallow: /index.php?route=account/voucher
Disallow: /index.php?route=product/special
Disallow: /index.php?route=affiliate/login
Disallow: /index.php?route=affiliate/register
Disallow: /index.php?route=affiliate/forgotten
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=product/
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /index.php?route=module/callme/open
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=login/
Disallow: /*route=specials/
Disallow: /*route=cart/
Disallow: /*route=search/
Disallow: /*route=compare-products/
Disallow: /*route=forgot-password/
Disallow: /index.php?route=information/news
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /image/cache/data/

User-agent: YandexImages
Disallow: /
Allow: /image/

User-agent: Googlebot-Image
Disallow: /
Allow: /image/

User-agent: msnbot-media
Disallow: /
Allow: /image/

Host: baby-dream.kiev.ua 
Sitemap: http://baby-dream.kiev.ua/index.php?route=feed/google_sitemap

Зачем же в личку)

BF1138 · 30 грудня 2019

В 17.07.2019 в 15:03, vavvavava сказал:

Disallow: /index.php?route=product/

а вот это для чего нужно?

и у меня еще в конце

Clean-param: tracking

это нужно или нет??

Змінено 30 грудня 2019 користувачем BF1138

qwert5005 · 17 січня 2020

vavvavava, чем он идеальный? Зачем картинки закрыли от индексации, по ним же идет дополнительный трафик. Первая идущая директива разве не главнее последующей? И если стоит Disallow: / то следующая после нее Allow: /image/ скорей всего уже не действует. Зачем запрещающая директория перед разрешающей? Может я в этом не разбираюсь, но мне кажется вы запретили поисковым системам индексировать все картинки из папки image.

Хотелось бы спросить у знающих людей, стоит ли делать в роботсе главное зеркало сайта Host: https://сайт.ру (сертификат установлен и сайт прекрасно отображается с https) или лучше все таки сделать по старинке Host: сайт.ру?

В 27.06.2019 в 18:34, MIKEFM сказал:

Подскажите, в чём беда?

Попробуйте подставить каждую ссылку которую вы закрыли в конец ссылки на сайт (только ссылки берите без звездочек *) Например сайт.ру/&filter_sub_category= посмотрите откроется страница или нет. Либо зайдите в категорию и подкатегорию и посмотрите какой в конце адрес после сайт.ру/... может увидите в роботсе категорию которую вы закрыли от индексации.

Змінено 17 січня 2020 користувачем qwert5005

Irinafialka · 14 березня 2021

Добрый день. Подскажите, на данный момент если сайт продвигается в гугле и исключительно в Украине, то есть смысл держать запреты индесации в robots файле для Яндекса?

chukcha · 14 березня 2021

17 минут назад, Irinafialka сказал:

индесации в robots файле для Яндекса?

ни холодно, ни жарко
Не забывайте, что часть пользователей(посетителей) сидят за випиэнами

Irinafialka · 14 березня 2021

2 часа назад, chukcha сказал:

ни холодно, ни жарко
Не забывайте, что часть пользователей(посетителей) сидят за випиэнами

Ну да так и есть!)

KidInk · 7 квітня 2021

Всем привет! У меня в Яндекс вебмастере пишет что есть "Одинаковые заголовки и описания страниц". Пример: /sekcionnye-vorota/podemno-sekcionnye-vorota/?page=2

/doorhan?page=2

Это нормально или мне нужно что-то прописать в robots.txt???? Помогите

Gai · 7 квітня 2021

17 минут назад, KidInk сказал:

Всем привет! У меня в Яндекс вебмастере пишет что есть "Одинаковые заголовки и описания страниц". Пример: /sekcionnye-vorota/podemno-sekcionnye-vorota/?page=2

/doorhan?page=2

Это нормально или мне нужно что-то прописать в robots.txt???? Помогите

Это страницы пагинации. То есть если у вас товаров на несколько страниц в категории, то на каждой такой странице заголовки, как на первой.
Решается модулем:

Вхід

Правильный robots.txt

Recommended Posts

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Створити обліковий запис

Вхід

Схожі публікації

Зараз на сторінці 0 користувачів

Покупцям

Розробникам

Корисна інформація

Останні розширення

Important Information