Сделал по совету colordays вот такой роботс:
User-Agent: *
# Запрет индексации всего сайта
Disallow: /
# Индексация главной страницы
Allow: /$
# Индексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov
# Запрет индексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*
# Запрет индексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*
# Индексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml
Clean-param: tracking
User-agent: Yandex
# Запрет индексации всего сайта
Disallow: /
# Индексация главной страницы
Allow: /$
# Индексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov
# Запрет индексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*
# Запрет индексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*
# Индексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml
Clean-param: tracking
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
Есть у кого-нибудь что-нибудь сказать плохого/хорошего к такой манере "ведения дел" с ботами? Я к тому, что тут принципиально другой подход, от запрета к разрешению, а не наоборот. Мне почему то показалось это более логичным. Что Вы думаете, уважаемые форумчане???
Заранее спасибо за ответы.