Robots.txt

[Equalizer]

Вот решил узнать кто какие категории запрещает, и разрешаетвыкладываем ваши Robots.txt

[godzik]

Поддерживаю тему, просветите пожалуйста кто что запрещает?хочу сформировать свой файл - но пока в замешательстве что там указывать :О)спасибо.

[George]

Огоооо!! сколько ответов!!!! за год не перечитать!!! :)

ну ладно... вот:

Не секрет, что в opencart есть такая СЕО-проблема - одна и та же страница имеет несколько ссылок. Таким образом, поисковик воспринимает одну и ту же страницу как две разные, отсюда дублирование контента, склейки... а это всё не хорошо :)

Может это глупо, но я указал Disallow: на ссылки товара от корня сайта, например

Disallow: /mysite.com.ua/product1

Disallow: /mysite.com.ua/product2

Disallow: /mysite.com.ua/product3

и так далее...

также указал общие правила при составлении Robots.txt :

User-agent: Yandex

Disallow: /cgi-bin

Host: mysite.com.ua - это для Яши (хочу без www)

и

User-agent: *

Disallow: /cgi-bin - * суть правило для всех поисковых роботов

подробнее о составлении читайте здесь http://seob.info/robots-txt.html

Если кто в курсе, скажите, можно ли решить проблему дублирования контента таким образом, запретив определённые ссылки для индексации в файле Robots.txt ?