Файл robots

[montag]

У меня сделаны seo-url , убраны дубли товаров. Версия 0.1.6.

Прописал в robots так

User-agent: *

Disallow: /index.php?route=product*

Disallow: /index.php?route=account*

Disallow: /index.php?route=checkout*

Disallow: /index.php?route=common*

Disallow: /index.php?route=information*

Disallow: /admin

Disallow: /download

Disallow: /catalog

Disallow: /system

User-Agent: Yandex

Disallow: /index.php?route=product*

Disallow: /index.php?route=account*

Disallow: /index.php?route=checkout*

Disallow: /index.php?route=common*

Disallow: /index.php?route=information*

Disallow: /admin

Disallow: /download

Disallow: /catalog

Disallow: /system

Host: www.мой сайт

Sitemap: http://www.мой сайт/sitemap.xml

Правильно я сделал или что то не так. Спасибо.

[senty]

Могу ошибаться, но:

User-Agent: Yandex
.....
Disallow: /system
Disallow: 
Host: www.мой сайт
Sitemap: http://www.мой сайт/sitemap.xml

[velox]

Файл robots Как правильно

примерно вот так

User-agent: *


Disallow: /index.php?route=account/login
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=

Disallow: /admin

Disallow: /catalog


Disallow: /download
Disallow: /export
Disallow: /system


Disallow: /*?page           
 
#Запрещаем индексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей тайтлов и мета-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer

#Запрещаем индексировать все страницы производителей, так как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем индексировать все страницы с разными видами сортировок, ибо иначе у нас будет десяток дублей одной и той же страницы

Disallow: /*?order
#Запрещаем индексировать все страницы с разными видами порядка вывода, причины те же

Disallow: /*?keyword
#Запрещаем индексировать все страницы с метками

Host: МОЙ_САЙТ
# адрес сайта с или без www

Sitemap: http://МОЙ_САЙТ/sitemap.xml

Allow: /

не знаю, целесообразно ли для яндекса отдельно прописывать все...

[monax]

Вот это -

Host: МОЙ_САЙТ

- сугубо яндексовская примочка. В правилах для всех её указывать не надо, т.к. другие роботы этого могут не понять и обидеться. :)

Если вы хотите для Яндекса эту примочку указать - надо ему перечислить (продублировать) всё, что вы пишете и для всех остальных поисковиков, ибо он будет читать только то, что вы прописали для него.

[snastik]

Вот это -

Host: МОЙ_САЙТ

- сугубо яндексовская примочка. В правилах для всех её указывать не надо, т.к. другие роботы этого могут не понять и обидеться. :)

Если вы хотите для Яндекса эту примочку указать - надо ему перечислить (продублировать) всё, что вы пишете и для всех остальных поисковиков, ибо он будет читать только то, что вы прописали для него.

если эта строка стоит как в примере выше то все нормально все что выше прочитали все ПС а строку мой сайт только яндекс

вот если бы она стояла вверху было бы не правильно а сейчас на мой взгляд все ок