Господа знатоки, гляньте, пожалуйста, мой robots.txt и выскажите по нему замечания. Может чего не так, может что лишнее, может чего не хватает:
User-agent: *
Disallow: /admin
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=3
Disallow: /index.php?route=information/information&information_id=4
Disallow: /index.php?route=information/information&information_id=5
Disallow: /index.php?route=information/information&information_id=6
Disallow: /index.php?route=information/information&information_id=7
Disallow: /*?page
#Запрещаем индексировать все страницы продукции производителя, кроме первой.
#Тут две стороны медали - с одной мы избавляемся от дублей тайтлов и мета-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой
Disallow: /*?manufacturer
#Запрещаем индексировать все страницы производителей, так как они уже есть у нас с сео-урл
Disallow: /*?sort
#Запрещаем индексировать все страницы с разными видами сортировок, ибо иначе у нас будет десяток дублей одной и той же страницы
Disallow: /*?order
#Запрещаем индексировать все страницы с разными видами порядка вывода, причины те же
Disallow: /*?keyword
#Запрещаем индексировать все страницы с метками
Sitemap: http://МОЙ_САЙТ/sitemap.xml
Allow: /
Собирал его из кусков, выложенных в разных темах, ну и добавил пару своих строк.
Встроенный генератор sitemap не использую, генерирую другой прогой. Файл у меня лежит в корне.
.htaccess выглядит так:
Options +FollowSymlinks
# Запретить листинг директорий
Options -Indexes
# Закрыть доступ к файлам шаблонов
<FilesMatch "\.tpl">
Order deny,allow
Deny from all
</FilesMatch>
# Необходимо для ЧПУ.
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
Подскажите, чего надо добавить, или убрать?