Проиндексировано, несмотря на блокировку в файле robots.txt

[Viyale]

Каким образом гугл обходит файл robots.txt и почему индексирует то что закрыто от индексации?

[Jurgen]

Эммм, вроде это давно известный факт, что гуглобот кладет на роботс...

[ocdev_pro]

2 часа назад, Viyale сказал:

Каким образом гугл обходит файл robots.txt и почему индексирует то что закрыто от индексации?

Это норм, robots больше не имеет никакого приоритета. Если не хотите индексации, так закрывайте сайт под пароль через htaccess

[Viyale]

В 13.12.2019 в 21:09, Waha сказал:

Это норм, robots больше не имеет никакого приоритета. Если не хотите индексации, так закрывайте сайт под пароль через htaccess

Так сайт должен индексироваться, а вот юрлы с фильтрами нет

[i3bepb]

24 минуты назад, Viyale сказал:

Так сайт должен индексироваться, а вот юрлы с фильтрами нет

На оф. сайте со справкой google https://support.google.com/webmasters/answer/6062608?hl=ru

Написано про robots.txt "Этот файл не предназначен для того, чтобы запрещать показ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, применяйте директивы noindex"