robots и noindex

[bivit1993]

Здравствуйте! У меня на сайте, в контроллере категории прописано условие - если на странице включена сортировка (?sort) или лимит (?limit) и т.п., то на страницу добавляется мета-тег robots content="noindex,follow" . В файле robots.txt тоже стоит /disallow на такие страницы сортировок. Часто в статьях по SEO пишут, что нельзя одновременно использовать noindex и закрытие в robots.txt ...

На чём это утверждение обосновано и почему нельзя оба варианта сразу? Как считате, коллеги? Как вообще на такие рекомендации реагируют Гугл и Яндекс?

Змінено 3 січня 2020 користувачем bivit1993

[Dimasscus]

1 час назад, bivit1993 сказал:

Здравствуйте! У меня на сайте, в контроллере категории прописано условие - если на странице включена сортировка (?sort) или лимит (?limit) и т.п., то на страницу добавляется мета-тег robots content="noindex,follow" . В файле robots.txt тоже стоит /disallow на такие страницы сортировок. Часто в статьях по SEO пишут, что нельзя одновременно использовать noindex и закрытие в robots.txt ...

На чём это утверждение обосновано и почему нельзя оба варианта сразу? Как считате, коллеги? Как вообще на такие рекомендации реагируют Гугл и Яндекс?

гугл вообще ни как не реагирует ни на первое ни на второе

[Shureg]

8 часов назад, bivit1993 сказал:

Здравствуйте! У меня на сайте, в контроллере категории прописано условие - если на странице включена сортировка (?sort) или лимит (?limit) и т.п., то на страницу добавляется мета-тег robots content="noindex,follow" . В файле robots.txt тоже стоит /disallow на такие страницы сортировок. Часто в статьях по SEO пишут, что нельзя одновременно использовать noindex и закрытие в robots.txt ...

Правильно пишут. Если в файле роботс запрещено сканирование, то сканирующий бот не прочитает тег noindex,  и не закроет страницу от индексирования другим ботом, который по ссылкам гуляет.
 

Цитата

Обнаружение метатегов robots и HTTP-заголовков X-Robots-Tag происходит при сканировании URL. Если сканирование страницы запрещено файлом robots.txt, то директивы, касающиеся индексирования или показа контента, будут проигнорированы. Чтобы гарантировать выполнение директив, не следует запрещать сканирование URL, для которых они заданы.

https://developers.google.com/search/reference/robots_meta_tag
Так что лучше только noindex. Но гарантий никаких, сочтет сильно нужным - все равно проиндексирует.