https://support.google.com/webmasters/answer/96569?hl=ru
https://support.google.com/webmasters/answer/93710?hl=ru
По этому поводу имею теорию, на основе прочитанного на этом форуме и своих знаний. (подчеркну, что теорию, т.к. не являюсь сотрудником поисковой системы)
Разница таки есть (точнее должна быть по моему мнению).
Да, товары есть в sitemap и все равно проиндексируются, за одним но. — проиндексированные товары затем нужно будет выдавать по запросу. Запрет в роботс может привести вот к чему: товары, которые лежат на странице 2,3 и далее не получают никаких внутренних ссылок и могут быть посчитаны мусорными, малонужными.
Почему пришел к такому выводу. Весь сайт - это перечень относительных показателей, и если, например, на страницу контактов есть 10 000 ссылок (со всех товаров и категорий), а на товар ссылок 0 - то будет ли поисковая система в принципе рассматривать страницу данного товара, как что то значимое?
Да, конечно же, внутренний ссылочный вес - один из множества факторов, который не является основополагающим. Но все же - выходит, что запрет страницы в роботс - делает эту страницу не существующей для ботов, а ссылки со страниц, которые технически закрыты и не существуют для глаз поисковых систем - равняются нулю.
Второй пример у меня по поводу неоднозначно идентифицируемых товаров. То есть есть категория Бусы, и в ней две почти одинаковые модели. Одна на второй странице пагинации лежит, а вторые бусы на первой. - по итогу, при прочих равных, выдаваться будет страница товара бус с первой страницы. Все вроде хорошо, но потом товар уходит из наличия, перемещается в последнюю страницу пагинации - и поисковой системе нужно будет выдавать уже страницу товара бусы 2 . Что в результате - в результате ни первая ни вторая страница бус не "растут" в поиске, т.к. поисковая система вынуждена чередовать посадочные страницы, т.к. параметры тех самых страниц при прочих равных условиях будут динамичными.
Прошу воспринимать написанное как простой банальный пример. Ситуацию с схожими товарами - под один искомый запрос отлично решает модуль меток, но тем, кто не использует этим - лучше не закрывать пагинацию роботсом, а использовать ноиндекс, фоллов.
п.с. (я уже представляю, как мой ник вносят в список сумасшедших сеошников - фанатиков )
Кто что думает об этом?