Страницы доступны для индексирования, при этом отображаются как исключенные в Яндекс.Вебмастере

[Andris]

Здравствуйте!
Уважаемые коллеги, Яндекс Вебмастер в последнее время присылает письма такого рода:

"Изменился статус в поиске у важных страниц:
Текст ссылки
Старый статус: В поиске 
Новый статус: Запрещено элементом noindex 
Страница была исключена из поиска из-за установленного с помощью мета-тега robots со значением content="noindex" или content="none" запрета на индексирование. Чтобы страница появилась в поиске, удалите запрет и отправьте её на переобход". 

Проверил robots.txt - никаких запретов там нет.

Приходиться вручную отправлять страницы в Вебмастере на переобход. Очень это муторно, т.к. таких страниц десятки и они постоянно появляются на смену другим.

Проверка ответа сервера для этих страниц 200 ОК.

2 дня назад написал в поддержку через Вебмастер - пока тишина.

В чём проблема не пойму, нужны советы.

Заранее благодарю за помощь!

robots.txt

[chukcha]

16 минут назад, Andris сказал:

из-за установленного с помощью мета-тега robots со значением content="noindex"

а это ни о чем не говорит?

[Andris]

3 минуты назад, chukcha сказал:

а это ни о чем не говорит?

Нет, в robots страницы не запрещены к индексированию.

Поэтому и прошу помочь разобраться, как исправить ситуацию.

[chukcha]

Вы читать умеете?

МЕ ТА    ТЕ ГА  robots

[markimax]

Страницы пагинации в категориях?
 

[Andris]

3 минуты назад, chukcha сказал:

МЕ ТА    ТЕ ГА  robots

Хорошо, тогда вопросы:

1) почему эти проблемные страницы, отправленные на переобход, позже снова начинают индексироваться Яндексом, если никаких правок в код я не вношу и мета-тег не меняю?

2) как управлять мета-тегом robots?

[Andris]

2 минуты назад, markimax сказал:

Страницы пагинации в категориях?
 

Нет, обычные карточки товаров

[chukcha]

И все включили магические шары..

Да мало ли что там.. версия сборки?
Окружение и прочее..

[Andris]

 

Только что, chukcha сказал:

И все включили магические шары..

Да мало ли что там.. версия сборки?
Окружение и прочее..

 

OcStore 1.5.5.1.2, шаблон MoneyMaker, обычный виртуальный хостинг beget.

Карта сайта FX Sitemap может влиять?

[markimax]

10 минут назад, Andris сказал:

Нет, обычные карточки товаров

Тяжело гадать
Вы бы дали ссылку на один такой товар, который выкинут из индекса из-за noindex мета тега
 

[Otvet]

не первый случай

сейчас как раз один такой разбираю

 

1 час назад, Andris сказал:

Карта сайта FX Sitemap может влиять?

нет она автономна

[Andris]

19 минут назад, Otvet сказал:

не первый случай

сейчас как раз один такой разбираю

Если не секрет, в чём там причина?

[Otvet]

пока непонятно, установил мониторинг кода и заголовков с логированием

жду пока яндекс проиндексирует

[Andris]

Пришел ответ от Платона:

 

"Мета-тег noindex располагается не в файле robots.txt сайта, а непосредственно в исходном коде страниц. Мы проверили, страница xxx (прим. - обычная карточка товара) действительно содержала такой запрет ранее, при обращении робота 2019.02.07 в 16:45:48, представленный в виде мета-тега:
<meta name="robots" content="noindex">
Для выяснения причин появления запрета вы можете обратиться к администратору сервера, на котором расположен сайт, либо вашему хостинг-провайдеру.

Сейчас запрета на странице уже действительно нет, страница успешно индексируется и сможет вернуться в поиск уже через 1-2 обновления поисковой базы."

 

Интересно, каким образом в коде страниц появляются и исчезают мета-теги, если доступ к админке только у меня одного?

[chukcha]

2 минуты назад, Andris сказал:

Пришел ответ от Платона:

 

"Мета-тег noindex располагается не в файле robots.txt сайта, а непосредственно в исходном коде страниц. Мы проверили, страница xxx (прим. - обычная карточка товара) действительно содержала такой запрет ранее, при обращении робота 2019.02.07 в 16:45:48, представленный в виде мета-тега:
<meta name="robots" content="noindex">
Для выяснения причин появления запрета вы можете обратиться к администратору сервера, на котором расположен сайт, либо вашему хостинг-провайдеру.

Сейчас запрета на странице уже действительно нет, страница успешно индексируется и сможет вернуться в поиск уже через 1-2 обновления поисковой базы."

 

Интересно, каким образом в коде страниц появляются и исчезают мета-теги, если доступ к админке только у меня одного?

налр смотреть по месту, кто вам этот тег ставит

Как раз я и говорил про тег, но вы "уперто" настаивали на robots.txt

 

[Andris]

3 минуты назад, chukcha сказал:

Как раз я и говорил про тег, но вы "уперто" настаивали на robots.txt

Я не настаивал, просто не понял сразу.

У всех разный уровень компетенций, тем более вопрос достаточно узкоспециализированный. 

[chukcha]

22 часа назад, chukcha сказал:

а это ни о чем не говорит?

 

22 часа назад, Andris сказал:

Нет, в robots страницы не запрещены к индексированию.

Поэтому и прошу помочь разобраться, как исправить ситуацию.

 

22 часа назад, Andris сказал:

Хорошо, тогда вопросы:

1) почему эти проблемные страницы, отправленные на переобход, позже снова начинают индексироваться Яндексом, если никаких правок в код я не вношу и мета-тег не меняю?

2) как управлять мета-тегом robots?

 

22 часа назад, chukcha сказал:

И все включили магические шары..

Да мало ли что там.. версия сборки?
Окружение и прочее..

Вот как бы..

Тем более, что ни сайта, ни окружения мы не знаем..