настройка robots'а

[DYATEL]

Заглянул в  вебмастер в Яше и увидел, что исключены из индекса аж 393 страницы. Пишет, что мол неканонические страницы. Из них многие имеют такой урл: /adn60xm?filter_tag=&page=6

 

Я убрал из роботса такие строки:

 

Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=

 

Убрал надеясь, что эти страницы проиндексируются. Отсюда вопрос-не зря я это сделал.

 

Остальные исключенные страницы имеют такие урлы: /expendengine/somfyexpend/pp325

 

Дублей не имеют. Вопрос как сделать так, чтобы все проиндексировалось. И непонятны причины такой выборочной неиндексации. Одни индексируются, а другие вдруг не канонические.

 

И еще: где-то видел пописанную sitemap в робтсе. Надо ли?

[DYATEL]

ау админы ???

[Moriartyx]

Пописанную sitemap лучше не ставить :)))) а вообще урл: /adn60xm?filter_tag=&page=6 это страницы из тегов (дубль) и плюс на 6странице.

Решение:

Закрыть в роботе tag= (также через вебмастер закрыть)

А на пейджинг поставить либо генерацию next | prev или с 2 страницы сгенерировать мета тег рел роботс noindex follow

Фильтры тоже открывать не следовало, разве если их комбинация не создают НЧ запросы типу: зеленый холодильник и т.д.

[DYATEL]

Если я правильно понял, то надо вернуть записи?

 

И еще: про все остальное написанное. Я ничего не понял. Если не трудно-напишите что и как прописать. Буду признателен.

[bigmovi]

А здесь так, ответили , не понял , ну и ладно) Меня тоже заинтересовал данный факт. Какой должен бфть правельны роботс?