Добрый день. Уже долго мучаюсь и не как не могу разобраться. Гугл тоже прошерстил, так и не нашел вменяемых ответов.
И собственно проблема.
Когда-то давно ставил на сайт модуль coolfilter который наплодил множество ссылок вида /arhiv?coolfilter=o_16:107
Они все были заблокированы от индексации в robots.txt но тем немение яндекс упорно продолжает по ним ходить, а поскольку таких страниц тысячи - создается нагрузка на сервер (в яндекс вебмастере все эти страницы отмечены как заблокированые в роботсе, но яндекс бот регулярно их посещает). Уже больше полугода как удалил этот фильтр, а страницы упорно продолжают посещаться ботом (и что интересно они физически доступны если по ни перейти).
Во время поисков натолкнулся на инфу, что процентов 80 сайтов имеют такой косяк, что если после адреса поставить знак вопроса, и написать какуюто белиберду, то страничка на сайте прекрасно открывается и если дать на нее ссылку она индексируется поисковиком и будет считаться дублем.
Есть ли какой-нибуть способ правильно заблокировать такие страницы, или 404 на них сделать. Посути такие страницы физически доступны, и если сделать на них ссылку то поисковый бот по ней обязательно залезет туда. Бы ло бы таких страниц немного - нестрашно (в роботсе заблокировано), но если их несколько тысяч то идет конкретная нагрузка на сервер роботами.