robots.txt

[Pirate]

Оп-па! Google ругается на robots:

 

Что не так?

[Helloween]

Ничего. Clean-param - это фишка яндекса. Не обращай внимания.

[Pirate]

Ничего. Clean-param - это фишка яндекса. Не обращай внимания.

Спасибо за ответы. Вы всегда помогаете! Я прочитал, что она отвечает за сессии и т.д., но так как у меня нет регистрации и авторизации, может мне она и не нужна? - я её удалил сейчас.

 

И не могли бы оценить мой файл robots, что выше? )

[Helloween]

Спасибо за ответы. Вы всегда помогаете! Я прочитал, что она отвечает за сессии и т.д., но так как у меня нет регистрации и авторизации, может мне она и не нужна? - я её удалил сейчас.

 

И не могли бы оценить мой файл robots, что выше? )

Спасибо, лестно.

clean-param помогает боту яндекса отсекать дубли страниц, образующиеся от яндексовских примочек. Например, для отслеживания переходов из директа, (если я не путаю) в ссылку добавляется &yclid - это метка для метрики, отслеживающая переходы по контекстным объявлениям. Короче, для google bot это просто строчка, не имеющая значения. Все инструкции robots.txt роботы поисковиков выполняют по порядку. По хорошему, гуглобот заканчивает свою работу на строчке Sitemap в первом блоке инструкций. Далее инструкции идут уже для яндекс бота, которые гуглобот не должен исполнять. Именно поэтому сначала пишутся инструкции общие, для всех роботов, а потом уже конкретно для каждого интересующего. Поэтому и условия для Yandex bot пишутся после общих условий.

Оценить не могу, так как:

1. Я не гуру роботс - я просто стараюсь пользоваться информацией, на том же яндексе, анализировать ее и использовать

2. Есть подсказки в том же Яндекс.Вебмастер - ими я и пользуюсь.

[1nSane]

Именно поэтому сначала пишутся инструкции общие, для всех роботов, а потом уже конкретно для каждого интересующего. Поэтому и условия для Yandex bot пишутся после общих условий.

А не наоборот надо ли?

User-Agent: *

 

Ведь по логике, если сначала "для всех", а потом "яндекс", и робот выполняет инструкции по порядку, то зачем дублировать все пункты? он же их и так выполнит. А если он выполняет только из своего блока, то логичнее располагать общие внизу... иначе получается, что бот проходит весь роботс.тхт, не находит инструкций чисто для себя и возвращается вверх к общему блоку, так?

[1nSane]

Pirate

У Вас уже некорректный роботс, если судить по подсказкам Яндекса...

 

User-agent: Yandex

#Закрываем доступ к папкам
Disallow: /admin

Не должно быть переносов строки между Юзер-Агентом и правилами

Также недолжно быть пустых строк между самими правилами и т.д.

 

Тот, кто прокомментировал код - молодец, но вставлять его в таком виде = несоблюдать стандарт и неизвестно какой бот как себя поведет. Все может закончиться на первой же строке.

[Helloween]

А не наоборот надо ли?

User-Agent: *

 

Ведь по логике, если сначала "для всех", а потом "яндекс", и робот выполняет инструкции по порядку, то зачем дублировать все пункты? он же их и так выполнит. А если он выполняет только из своего блока, то логичнее располагать общие внизу... иначе получается, что бот проходит весь роботс.тхт, не находит инструкций чисто для себя и возвращается вверх к общему блоку, так?

Не наоборот. Сначала все роботы выполняют общие стандартные условия. Потом роботы ищут инструкции конкретно для себя и выполняют их. Если нет инструкций для этого робота - он уходит.

Если впереди поставить инструкции для Яндекса - остальные могут просто уйти, не найдя в первой строке разрешение для себя.

И User_Agent: * - это и есть объявление общих правил для всех роботов. Именно его и ставят первым. А наоборот - это куда вы его запихнуть хотите?

 

По поводу пробелов (переноса строки) вы верно заметили. Пропуск строки ставится ТОЛЬКО перед объявлением нового User-Agent. Не перед первым, а перед новым - вторым, третьим...

[1nSane]

Не наоборот. Сначала все роботы выполняют общие стандартные условия. Потом роботы ищут инструкции конкретно для себя и выполняют их. Если нет инструкций для этого робота - он уходит.

Если впереди поставить инструкции для Яндекса - остальные могут просто уйти, не найдя в первой строке разрешение для себя.

И User_Agent: * - это и есть объявление общих правил для всех роботов. Именно его и ставят первым. А наоборот - это куда вы его запихнуть хотите?

Тогда по Вашей логике...

User-Agent: *

User-Agent: Yandex

User-Agent: Googlebot

Гуглобот не будет выполнять своих инструкций, т.к. он увидит Яндекс и пошлет файл лесом.

 

Опять же, зачем дублировать ВСЕ строки для Яндекса, если он и так их уже выполнил, следуя инструкциям под *? Тогда можно оставить специфические, типа clean-param и все...

[Helloween]

Тогда по Вашей логике...

User-Agent: *

User-Agent: Yandex

User-Agent: Googlebot

Гуглобот не будет выполнять своих инструкций, т.к. он увидит Яндекс и пошлет файл лесом.

 

Опять же, зачем дублировать ВСЕ строки для Яндекса, если он и так их уже выполнил, следуя инструкциям под *? Тогда можно оставить специфические, типа clean-param и все...

Во-первых, логика не моя. Это рекомендации того же Яндекса.

Во-вторых, googlebot вполне неплохо справляется с инструкциями из общего списка.

В-третьих, российский сегмент интернета, с которым я работаю, ориентирован на Яндекс, вследствие чего, приходится считаться с заскоками Яндекса. Я не утверждал, что боты уходят сразу, если видят инструкции не для себя, это лишь предположение. Хотя и вполне логичное, если учитывать, что вы хотите без общих правил поставить сразу user-agent: yandex.

Ну и главное - вы можете писать в своем роботс.тхт что вашей душеньке угодно. Хоть поэму "Руслан и Людмила", вам же никто не запрещает.

[Pirate]

Pirate

У Вас уже некорректный роботс, если судить по подсказкам Яндекса...

Не должно быть переносов строки между Юзер-Агентом и правилами

Также недолжно быть пустых строк между самими правилами и т.д.

 

Тот, кто прокомментировал код - молодец, но вставлять его в таком виде = несоблюдать стандарт и неизвестно какой бот как себя поведет. Все может закончиться на первой же строке.

 

Я комментировал! Я же делал ).

Т.е. комментарии оставить то можно, а вот пробелы все убрать лучше?

 

Еще вопросы:

1. по Sitemap: - зачем добавлять эту строку если мы этот файл отдельно добавляем в яндекс и гугл? Притом гуугл ссылку типа http://mebel-avilon.ru/sitemap.xml не проглотил. вводил -  index.php?route=feed/google_sitemap. Тогда надо ли прописывать это в роботс и какую ссылку вставлять?!

2. host - надо прописывать отдельно и для User-agent: * и для User-agent: Yandex?

[Pirate]

Я изменил файл. Удалил из него:

#Disallow: /*address-book/ Не понял что это
#Disallow: /*route=affiliate/ Не понял что это
#Disallow: /*route=checkout/ Не понял что это
#Disallow: /index.php?route=product/product*&manufacturer_id= Не понял что это

За что это отвечает? Можно же удалить? 

 

Также не стал прописывать:

#Disallow: /*?filter_name=
#Disallow: /*&filter_name=
#Disallow: /*?filter_sub_category=
#Disallow: /*&filter_sub_category=
#Disallow: /*?filter_description=
#Disallow: /*&filter_description=

Я так понял, это для фильтров товаров. У меня их нет - можно не указывать значит?

 

Теперь файл такой:

User-agent: *
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /image
Disallow: /fastorder
Disallow: /my-account/
Disallow: /edit-account/
Disallow: /address-book/
Disallow: /order-history/
Disallow: /transactions/
Disallow: /change-password/
Disallow: /wishlist/
Disallow: /returns/
Disallow: /newsletter/
Disallow: /logout/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /create-account/
Disallow: /downloads/
Disallow: /vouchers/
Disallow: /*route=account/
Disallow: /request-return/ 
Disallow: /contact-us/ 
Disallow: /dostavka.html
Disallow: /search/ 
Disallow: /cart/
Disallow: /checkout/
Disallow: /index.php?route=checkout/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Host: mebel-avilon.ru 
Sitemap: http://mebel-avilon.ru/sitemap.xml

User-agent: Yandex
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /image
Disallow: /fastorder
Disallow: /my-account/
Disallow: /edit-account/
Disallow: /address-book/
Disallow: /order-history/
Disallow: /transactions/
Disallow: /change-password/
Disallow: /wishlist/
Disallow: /returns/
Disallow: /newsletter/
Disallow: /logout/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /create-account/
Disallow: /downloads/
Disallow: /vouchers/
Disallow: /*route=account/
Disallow: /request-return/ 
Disallow: /contact-us/ 
Disallow: /dostavka.html
Disallow: /search/ 
Disallow: /cart/
Disallow: /checkout/
Disallow: /index.php?route=checkout/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Clean-param: tracking
Host: mebel-avilon.ru 
Sitemap: http://mebel-avilon.ru/sitemap.xml

гугл все равно ругается на clean-param: tracking - не пойму почему он его вообще просматривает - это же не его строка?

И яндекс ругается на 

Host: mebel-avilon.ru Найдено несколько директив Host

 

Как раз мой вопрос выше!э

 

И за что отвечает?:

Disallow: /*?tracking=
Disallow: /*&tracking=

[Andris]

И яндекс ругается на 

Host: mebel-avilon.ru Найдено несколько директив Host

Как раз мой вопрос выше!

Оставьте только в конце

Host: mebel-avilon.ru 
Sitemap: http://mebel-avilon.ru/sitemap.xml

Над Яндексом удалите эти строки.

[1nSane]

Helloween

А причем тут местоположение? Может я хочу для Бинга другие правила... или отдельно правила для Яндекс.Картинок. По ссылке там далеко не 1 бот у Яши и можно под каждый отдельно.

 

Дело в другом, я еще раз повторюсь...
 

User-agent: *
Disallow: /admin
Disallow: /cache

...

User-agent: Yandex
Disallow: /admin
Disallow: /cache

...

Зачем для Яши повторять тоже самое?

А теперь вернемся к инструкции к Яндексу...

 

Для каждого из них также действительно правило: если обнаружены директивы для конкретного робота, директивы 'User-agent: Yandex' и 'User-agent: *' не используются.

И пример:

 

User-agent: YandexBot # будет использоваться только основным индексирующим роботом
Disallow: /*id=

User-agent: Yandex # будет использована всеми роботами Яндекса
Disallow: /*sid= # кроме основного индексирующего

User-agent: * # не будет использована роботами Яндекса
Disallow: /cgi-bin

Последовательность обратная как раз, сначала Яша, потом остальные. И вполне возможно, что расположение никак не влияет, т.к. бот сначала парсит все юзер-агенты в файле, потом выбирает какой ему больше подходит, и затем уже снова переходит к файлу и считывает именно свой раздел.

 

 

Pirate

Сайтмап добавлять или нет - дело каждого, не у каждого есть желание пользоваться инструментами для мастеров + под тот же Байду никто ж не затачивает отдельно, может и у них инструменты есть ;)

Хост - вроде как только Яша его использует, так что можно только в его блоке оставить.

 

Еще лично я не совсем понимаю, зачем Вы скрываете страницу с информацией о компании и доставке? От кого прячетесь?

[Helloween]

Оставьте только в конце

Host: mebel-avilon.ru 
Sitemap: http://mebel-avilon.ru/sitemap.xml

Над Яндексом удалите эти строки.

Наоборот. Эти строки должны для всех роботов быть, в основных правилах. Для Яши не нужно их дублировать, так как он их схавает из общих правил.

На clean-param не обращайте внимания, это не ошибка, просто гугл ее не понимает.

Либо удалите, при желании, но Яндекс тогда наплодит вам дублей, если вы ставили метрику и ведете Директ

Еще, где-то писали, что гугл будет игнорить все запреты и индексировать все полностью, если учитывать это - можно вообще писать общие правила под Яшу, а уж как себя другие поисковые роботы поведут - это их дело.

[1nSane]

Наоборот. Эти строки должны для всех роботов быть, в основных правилах. Для Яши не нужно их дублировать, так как он их схавает из общих правил.

На clean-param не обращайте внимания, это не ошибка, просто гугл ее не понимает.

Либо удалите, при желании, но Яндекс тогда наплодит вам дублей, если вы ставили метрику и ведете Директ

Не надо давать вредных советов ;) Сами же на инструкцию дали ссылки. НЕ возьмет он из общих правил, он будет смотреть только свой раздел.

 

И с clean-param не совсем верно описываете. Там же надо указывать конкретные переменные, которые будут убраны, а именно - tracking. Остальные, которые плодит Яша останутся, как приводимый Вами в пример clid

[Helloween]

Не надо давать вредных советов ;) Сами же на инструкцию дали ссылки. НЕ возьмет он из общих правил, он будет смотреть только свой раздел.

 

И с clean-param не совсем верно описываете. Там же надо указывать конкретные переменные, которые будут убраны, а именно - tracking. Остальные, которые плодит Яша останутся, как приводимый Вами в пример clid

Я для того и давал ссылку, чтобы человек сам разобрался и решил, что ему нужно и как составить для себя.

Clean-param: tracking - это пример. Опять же, надо у Яши смотреть настройки.

[Pirate]

Офигеть! Вы меня запутали в конец ))) 

Наоборот. Эти строки должны для всех роботов быть, в основных правилах

 

Я тоже так изначально подумал и там их и оставил! Наверное так лучше будет?

 

Sitemap: http://mebel-avilon.ru/index.php?route=feed/google_sitemap - такую строку сделал, так как в яндекс и гуггл именно так прописано!

 

tracking - я вообще не понимаю, что это! За что отвечает? Может вообще убрать это просто?

 

У меня такое ощущение, что все просто напихали в этот роботс без разбора что не попади и все. Вот зачем прописывать вот так:

Disallow: /search?filter_name=
Disallow: /search
Disallow: /search?
Disallow: /search?tag=

Я прописал просто:

Disallow: /search/

разве этого не достаточно? 

Разве если я наберу что-то в поиске и мне выпадет адрес

http://mebel-avilon.ru/search/?search=%D0%B8%D1%89%D1%83

то строка Disallow: /search/ не запретит доступ к данной ссылке? 

 

Зачем еще прописывать "Disallow: /search?" ?

 

И мне кто-то скажет или нет, за что отвечает эта хрень:

Disallow: /*address-book/ 
Disallow: /*route=affiliate/ 
Disallow: /*route=checkout/ 
Disallow: /index.php?route=product/product*&manufacturer_id= 

Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=

Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword

[1nSane]

Clean-param: tracking - это пример. Опять же, надо у Яши смотреть настройки.

А зачем смотреть у Яши настройки? Это ты, как владелец, должен знать какие параметры у тебя есть и они не влияют на результат. Там что угодно может быть... например в админке ОС это параметр token был бы...

[Helloween]

Эта хрень отвечает за адресную книгу (база адресов клиентов), партнерку (если не ошибаюсь), проверку заказа, товары по производителю, название фильтра, фильтр по подкатегории, и так далее. Часть страниц просто должны быть закрыты от индексации, часть тоже не мешает закрыть, если не хочешь получить кучу дублей.

[1nSane]

Pirate

Нет, /search/ не уберет, т.к. в приведенном примере нет / в конце. А вот Disallow: /search уберет. Дальше из примера, то это все частные случаи, есть/нет ЧПУ и т.д. Еще раз повторюсь, только ВЫ сами можете грамотно составить себе роботс.тхт, мы же не видим ваших модулей, структуры сата и его настроек и Ваших пожеланий.

 

Я уже задал вопрос, зачем Вы контакты прячете от индексации? На мой взгляд это излишне и даже не нужно. Но, может, у Вас есть свои причины...

[Pirate]

Я уже задал вопрос, зачем Вы контакты прячете от индексации? На мой взгляд это излишне и даже не нужно. Но, может, у Вас есть свои причины...

 

еще текст не готов для них )

 

ну вот смотрите, идем сюда https://webmaster.yandex.ru/robots.xml

вводим mebel-avilon.ru

жмем проверить, потом Список URL добавить

вводим

http://mebel-avilon.ru/search/?search=ishem-hren

жмем проверить, результат:

 

http://mebel-avilon.ru/search/?search=ishem-hren запрещен правилом /search/

 

как видите, запрещает команда Disallow: /search/

тогда зачем?

Disallow: /search?filter_name=

Disallow: /search

Disallow: /search?

Disallow: /search?tag=

[Helloween]

еще текст не готов для них )

 

ну вот смотрите, идем сюда https://webmaster.yandex.ru/robots.xml

вводим mebel-avilon.ru

жмем проверить, потом Список URL добавить

вводим

http://mebel-avilon.ru/search/?search=ishem-hren

жмем проверить, результат:

 

http://mebel-avilon.ru/search/?search=ishem-hren запрещен правилом /search/

 

как видите, запрещает команда Disallow: /search/

тогда зачем?

Disallow: /search?filter_name=

Disallow: /search

Disallow: /search?

Disallow: /search?tag=

Например, строка может выглядеть так:

http://mebel-avilon.ru/?search=%D0%B7%D0%B0%D1%81%D0%BF%D0%B0%D0%BC%D0%BB%D1%8E%20%D0%BD%D0%B0%D1%85%D1%80%D0%B5%D0%BD%20%D1%8F%20%D1%82%D0%B2%D0%BE%D0%B9%20%D1%81%D0%B0%D0%B9%D1%82

Страница открывается?

А от индексации она закрыта?

Вот и думай, стоит закрывать такие ссылки, или нет...

[Pirate]

а как ты получил такую ссылку? ) Мне кажется от таких ссылок ничего не спасет?!

[Helloween]

а как ты получил такую ссылку? ) Мне кажется от таких ссылок ничего не спасет?!

Забил текст тебе в поиск и вырезал потом директорию search, которую ты закрыл от индекса.

Одно дело - можно открыть такую страницу, а другое - она попадет в индекс поисковиков.

[Pirate]

Я уже понял, но как узнать какие страницы можно открыть?