Проиндексировано, несмотря на блокировку в файле robots.txt

[spanjokus]

48 минут назад, kulinenko сказал:

404 это ответ сервера, а ноиндекс это метатег, разберитесь с понятиями

 

для каких страниц ? обычно это мусор

Да получилось так, что кто-то проставил на сайт ссылки с порно, да пофиг на них плохого не вижу, ссылки вели на несуществующие страницы, в итоге они попали в индекс, а так как они запрещены в роботс символ ?=, то выкинуть он их не может, как пишут на сейте комьюнити гугла. На самих 404 стоит noindex для роботов, и в роботс я решил протестировать для гугла убрать запрет на сканирование 404 страниц вида /?=чего-то там

[kulinenko]

1 час назад, spanjokus сказал:

Да получилось так, что кто-то проставил на сайт ссылки с порно, да пофиг на них плохого не вижу, ссылки вели на несуществующие страницы, в итоге они попали в индекс, а так как они запрещены в роботс символ ?=, то выкинуть он их не может, как пишут на сейте комьюнити гугла. На самих 404 стоит noindex для роботов, и в роботс я решил протестировать для гугла убрать запрет на сканирование 404 страниц вида /?=чего-то там

все правильно сделали, все что попадает в индекс из мусора - должно быть разрешено к скану и отдавать 404 / 410 или мета ноиндекс