Пришло и мое время по настройке робота (ocStore 1.5.5.1.2), но тут же возникло несколько вопросов:
1. многие пишут: "настроил robots.txt, сейчас проверю его роботу" - о чем идет речь? Сайт зарегил в google поисковике и yandex (правда в яндекс пока не проиндексирован почему-то...) - как-то можно проверить работу робота?
http://www.google.com/analytics/
https://www.google.com/webmasters
https://webmaster.yandex.ru
2. В файле по умолчанию прописано одно и тоже для User-agent: * и User-agent: Yandex. Смысл? Разве User-agent: * не применим для всех поисковых ботов? Зачем для яндекса прописывать отдельно?
3. У меня в настройках ЧПУ включено SeoPro. Где-то прочитал, что в robots.txt надо закрыть все пути, которые не имею ЧПУ, т.е. ссылки вида
САЙТ/index.php?route=information/information&information_id=3
Это действительно так? Почему?
4. Доступ к папкам. Вижу закрыли доступ к папкам.
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Я верно понимаю, что сюда не помешает добавить:
fastorder - у меня есть такая с быстрым заказом
image - вот тут у меня вопрос. Надо полностью ко всей папке закрывать доступ или только к image\cache?
vqmod
У меня еще от куда-то появилось две папки: .quarantine и .tmb. Не знаю от куда взяли, не знаете что это и надо ли их закрывать?
5. Я верно понимаю, что строка
/*route=account/
закрывает путь к http://САЙТ/index.php?route=account/ и всем дальнейшим ссылкам, идущими за account/, т.е.:
http://САЙТ/index.php?route=account/edit
http://САЙТ/test/index.php?route=account/address
http://САЙТ/test/index.php?route=account/wishlist
и т.д.?
6. Если у меня включено ЧПУ, то я могу так оставить или мне надо прописывать как-то так?:
/my-account/
Или, например, я хочу закрыть доступ к информации: Доставка, политика безопасности и т.д.
мне вместо
Disallow: /index.php?route=information/information&information_id=3
надо писать конкретно:
http://САЙТ/dostavka.html?
7. В одном из файлов robots.txt прописано вот так:
Disallow: /my-account
Disallow: /index.php?route=account
Disallow: /*route=account/
В чем разница? Разве это не одно и то же?
8. За что отвечают строки:
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Сперва было подумал, что, например, Disallow: /*?sort= отключает индексирование при выборе сортировки товара в каталоге, но тогда не понятно как это работает для такой ссылки:
http://САЙТ/index.php?route=product/category&path=20&sort=p.price&order=ASC
или в случае ЧПУ:
http://САЙТ/spalnya/?sort=p.price&order=ASC
9. Чем вообще руководствоваться, закрывая страницы? Например, зачем мы закрываем акккаунт (личный кабинет) и все, что там находится. Многие закрывают страницы модуля информация, вижу, закрывают поиск по сайту и его результаты... - почему именно их?
Заранее спасибо! )