почему никто не говорит, что сканирование и индексирование это разные вещи...
в роботс мы даем рекомендации по сканированию сайта, и так как на мусорных страницах могут быть ссылки на полезные, например на странице сортировки могут быть ссылки на карточки товаров, и закрыв все это в роботс, робот гугла просто их даже не просканирует... не говоря уже про индексирование, т.к. это уже какбы второй этап
а вот решение про индексирование страниц гугл принимает исходя из тех, которые он просканировал... и если страница имеет ноиндекс, то соответственно в индекс она никак не попадет
если следовать совету, когда рекомендуют закрывать и в роботсе и на странице через ноиндекс, то:
1. гугл смотрит файлик роботс, и НЕ сканирует мусорные страницы
2. дальше гугл заходит на сайт, сканирует полезные страницы, и вуаля через них попадает на эти самые мусорные страницы
после этого вы и получаете в своей консоли сообщение "Проиндексировано, несмотря на блокировку в файле robots.txt"