Jump to content
Andris

Страницы доступны для индексирования, при этом отображаются как исключенные в Яндекс.Вебмастере

Recommended Posts

Здравствуйте!
Уважаемые коллеги, Яндекс Вебмастер в последнее время присылает письма такого рода:

"Изменился статус в поиске у важных страниц:
Текст ссылки
Старый статус: В поиске 
Новый статус: Запрещено элементом noindex 
Страница была исключена из поиска из-за установленного с помощью мета-тега robots со значением content="noindex" или content="none" запрета на индексирование. Чтобы страница появилась в поиске, удалите запрет и отправьте её на переобход".
 

Проверил robots.txt - никаких запретов там нет.

Приходиться вручную отправлять страницы в Вебмастере на переобход. Очень это муторно, т.к. таких страниц десятки и они постоянно появляются на смену другим.

Проверка ответа сервера для этих страниц 200 ОК.

2 дня назад написал в поддержку через Вебмастер - пока тишина.

В чём проблема не пойму, нужны советы.

Заранее благодарю за помощь!

robots.txt

Share this post


Link to post
Share on other sites
16 минут назад, Andris сказал:

из-за установленного с помощью мета-тега robots со значением content="noindex"

а это ни о чем не говорит?

Share this post


Link to post
Share on other sites
3 минуты назад, chukcha сказал:

а это ни о чем не говорит?

Нет, в robots страницы не запрещены к индексированию.

Поэтому и прошу помочь разобраться, как исправить ситуацию.

Share this post


Link to post
Share on other sites

Вы читать умеете?

МЕ ТА    ТЕ ГА  robots

Share this post


Link to post
Share on other sites

Страницы пагинации в категориях?
 

Share this post


Link to post
Share on other sites
3 минуты назад, chukcha сказал:

МЕ ТА    ТЕ ГА  robots

Хорошо, тогда вопросы:

1) почему эти проблемные страницы, отправленные на переобход, позже снова начинают индексироваться Яндексом, если никаких правок в код я не вношу и мета-тег не меняю?

2) как управлять мета-тегом robots?

Share this post


Link to post
Share on other sites
2 минуты назад, markimax сказал:

Страницы пагинации в категориях?
 

Нет, обычные карточки товаров

Share this post


Link to post
Share on other sites

И все включили магические шары..

Да мало ли что там.. версия сборки?
Окружение и прочее..

Share this post


Link to post
Share on other sites

 

Только что, chukcha сказал:

И все включили магические шары..

Да мало ли что там.. версия сборки?
Окружение и прочее..

 

OcStore 1.5.5.1.2, шаблон MoneyMaker, обычный виртуальный хостинг beget.

Карта сайта FX Sitemap может влиять?

Share this post


Link to post
Share on other sites
10 минут назад, Andris сказал:

Нет, обычные карточки товаров

Тяжело гадать
Вы бы дали ссылку на один такой товар, который выкинут из индекса из-за noindex мета тега
 

Share this post


Link to post
Share on other sites

не первый случай

сейчас как раз один такой разбираю

 

1 час назад, Andris сказал:

Карта сайта FX Sitemap может влиять?

нет она автономна

Share this post


Link to post
Share on other sites
19 минут назад, Otvet сказал:

не первый случай

сейчас как раз один такой разбираю


Если не секрет, в чём там причина?

Share this post


Link to post
Share on other sites

пока непонятно, установил мониторинг кода и заголовков с логированием

жду пока яндекс проиндексирует

Share this post


Link to post
Share on other sites

Пришел ответ от Платона:

 

"Мета-тег noindex располагается не в файле robots.txt сайта, а непосредственно в исходном коде страниц. Мы проверили, страница xxx (прим. - обычная карточка товара) действительно содержала такой запрет ранее, при обращении робота 2019.02.07 в 16:45:48, представленный в виде мета-тега:
<meta name="robots" content="noindex">

Для выяснения причин появления запрета вы можете обратиться к администратору сервера, на котором расположен сайт, либо вашему хостинг-провайдеру.

Сейчас запрета на странице уже действительно нет, страница успешно индексируется и сможет вернуться в поиск уже через 1-2 обновления поисковой базы."

 

Интересно, каким образом в коде страниц появляются и исчезают мета-теги, если доступ к админке только у меня одного?

Share this post


Link to post
Share on other sites
2 минуты назад, Andris сказал:

Пришел ответ от Платона:

 

"Мета-тег noindex располагается не в файле robots.txt сайта, а непосредственно в исходном коде страниц. Мы проверили, страница xxx (прим. - обычная карточка товара) действительно содержала такой запрет ранее, при обращении робота 2019.02.07 в 16:45:48, представленный в виде мета-тега:
<meta name="robots" content="noindex">

Для выяснения причин появления запрета вы можете обратиться к администратору сервера, на котором расположен сайт, либо вашему хостинг-провайдеру.

Сейчас запрета на странице уже действительно нет, страница успешно индексируется и сможет вернуться в поиск уже через 1-2 обновления поисковой базы."

 

Интересно, каким образом в коде страниц появляются и исчезают мета-теги, если доступ к админке только у меня одного?

налр смотреть по месту, кто вам этот тег ставит

Как раз я и говорил про тег, но вы "уперто" настаивали на robots.txt

 

Share this post


Link to post
Share on other sites
3 минуты назад, chukcha сказал:

Как раз я и говорил про тег, но вы "уперто" настаивали на robots.txt

Я не настаивал, просто не понял сразу.

У всех разный уровень компетенций, тем более вопрос достаточно узкоспециализированный. 

Share this post


Link to post
Share on other sites
22 часа назад, chukcha сказал:

а это ни о чем не говорит?

 

22 часа назад, Andris сказал:

Нет, в robots страницы не запрещены к индексированию.

Поэтому и прошу помочь разобраться, как исправить ситуацию.

 

22 часа назад, Andris сказал:

Хорошо, тогда вопросы:

1) почему эти проблемные страницы, отправленные на переобход, позже снова начинают индексироваться Яндексом, если никаких правок в код я не вношу и мета-тег не меняю?

2) как управлять мета-тегом robots?

 

22 часа назад, chukcha сказал:

И все включили магические шары..

Да мало ли что там.. версия сборки?
Окружение и прочее..


Вот как бы..

Тем более, что ни сайта, ни окружения мы не знаем..


 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By reDream
      Localization editor - редактор языковых файлов, перевод Яндекс и Google
      Скачать/Купить дополнение Модуль для редактирования файлов локализации через админ-панель OpenCart.

      С этим модулем вам больше не нужно искать, в каком файле хранится тот или иной текст.
      Вам больше не нужно скачивать и редактировать файлы через FTP - теперь вы можете сделать это через Localization editor!
      Если в каком-то из модулей или шаблоне, установленных на вашем сайте, нет необходимого вам языка, вы сможете в два клика автоматически перевести его более чем на 100 языков с помощью API Google translate или Яндекс.Переводчика.
       
      Удобный интерфейс Поиск переменных и текстов по всем языковым файлам Добавление переменных Автоматическое форматирование и экранирование языковых файлов при сохранении Автоматический перевод через API Google translate и Яндекс.Переводчик Код модуля полностью открыт. Модуль не заменяет системные файлы. Работает на всех актуальных версиях OpenCart и OcStore. С любым шаблоном.  
      Демо - oc.redream.ru 
      Логин/Пароль: demo/demo   По всем вопросам: 
      oc@redream.ru  
      Расположение в меню: Система > Локализация > Localization editor
       
      Системные требования:
      Php не ниже 5.4 Vqmod (Для OpenCart 1.5.x)  
      Процедура установки:
      Загрузить все файлы под вашу версию OpenCart из папки "upload" в корневую папку сайта Обновить кэш модификаторов в менеджере дополнений (в vqmod обновляется автоматически) Разрешить просмотр и внесение изменений для необходимой группы пользователей (Система > Пользователи > Группы пользователей) Добавил reDream Добавлено 22.10.2019 Категория Языковые пакеты Системные требования Сайт разработчика http://redream.ru Метод активации Без активации Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1 ocStore 3.0
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1 OpenCart.Pro, ocShop Обращение к серверу разработчика Нет Старая цена  
    • By reDream
      Модуль для редактирования файлов локализации через админ-панель OpenCart.

      С этим модулем вам больше не нужно искать, в каком файле хранится тот или иной текст.
      Вам больше не нужно скачивать и редактировать файлы через FTP - теперь вы можете сделать это через Localization editor!
      Если в каком-то из модулей или шаблоне, установленных на вашем сайте, нет необходимого вам языка, вы сможете в два клика автоматически перевести его более чем на 100 языков с помощью API Google translate или Яндекс.Переводчика.
       
      Удобный интерфейс Поиск переменных и текстов по всем языковым файлам Добавление переменных Автоматическое форматирование и экранирование языковых файлов при сохранении Автоматический перевод через API Google translate и Яндекс.Переводчик Код модуля полностью открыт. Модуль не заменяет системные файлы. Работает на всех актуальных версиях OpenCart и OcStore. С любым шаблоном.  
      Демо - oc.redream.ru 
      Логин/Пароль: demo/demo   По всем вопросам: 
      oc@redream.ru  
      Расположение в меню: Система > Локализация > Localization editor
       
      Системные требования:
      Php не ниже 5.4 Vqmod (Для OpenCart 1.5.x)  
      Процедура установки:
      Загрузить все файлы под вашу версию OpenCart из папки "upload" в корневую папку сайта Обновить кэш модификаторов в менеджере дополнений (в vqmod обновляется автоматически) Разрешить просмотр и внесение изменений для необходимой группы пользователей (Система > Пользователи > Группы пользователей)
    • By DevmanExtensions
      3 000.00 руб
      View File


      Import/Export Pro - XLSX -XLS - CSV - XML - JSON - Google Spreadsheets
       

       

       

       

       

       

      Супер легкая установка за 1 минуту - > смотрите видео 
       



      Самый полный и безопасный инструмент импорта/экспорта для Opencart
      Идеальный инструмент «все в одном», чтобы позаботиться обо всех ваших потребностях в импорте/экспорте данных для вашего магазина, будь то управление вашими собственными данными или синхронизация из файлов или каналов от ваших постоянных поставщиков. Работает с Opencart, OCStore, Mijoshop и Joocart.


      Мы слушаем наших клиентов!
      Import / Export PRO является результатом разработки сотен запросов, которые наши клиенты сделали с момента нашего первого запуска в 2014 году. Мы создали самое безопасное, мощное и адаптируемое расширение для удовлетворения потребностей каждого.
      Прочитайте, что говорят клиенты об Import/Export Pro.
       

       
      Мы здесь, чтобы помочь!
      Перед покупкой, пожалуйста, обязательно посмотрите раздел часто задаваемых вопросов. Если Вы не смогли найти ответ там, то не стесняйтесь - пишите нам!
      Если вы чувствуете себя перегруженными процессами импорта, мы предлагаем услуги по миграции магазинов и можем все настроить  для вас! Пожалуйста отправьте заявку и уточните стоимость!
       

       
      Import/export все, что Вам нужно
      Товары, специальные предложения, скидки, изображения товаров, значения параметров продукта, категории, группы атрибутов, атрибуты, параметры, значения параметров, производители, группы фильтров, фильтры, группы клиентов, клиенты, адреса, заказы, продукты заказа, итоговые суммы заказов, купоны  и так далее.
       

       
      Ваши данные всегда в безопасности!
      В случае сбоя процесса расширенная система импорта автоматически восстановит ваши данные в исходное состояние! Ход процесса и возможные обнаруженные ошибки будут отображаться на активной панели.
       

      Связь Производители/Поставщики
      Совместим с большинством форматов файлов, предоставляемых поставщиками. Составление карт колонок, включенных в модуль, позволяет обрабатывать файлы, отправленные Вашим поставщиком, и решать любые проблемы. Точно так же Вы сможете экспортировать данные в формате необходимом для других платформ, если возникнет необходимость. Модуль безупречно справляется с YML (Yandex) и многими другими форматами широко известных или независимых поставщиков.
       

      Импорт и экспорт без ограничений
      Мы оптимизировали процессы импорта и экспорта, заставив модуль обрабатывать большие объемы данных, используя минимально возможные ресурсы сервера. Так же у Вас есть возможность запускать профили импорта/экспорта по расписанию, используя CRON, в автоматическом режиме, в момент наименьшей загрузки сервера.
       

      Задания CRON
      Часто может потребоваться автоматический запуск профилей экспорта и импорта в удобное для Вас время. Мы разработали дополнение, позволяющее выполнять ваши профили импорта  или экспорта в процессах CRON.  Идеально подходит для связи с поставщиками, управления запасами, ценами и прочим.
       

      Удивительные фильтры
      Более 500 фильтров на выбор для применения к Вашим профилям, комбинации почти бесконечны!
       

      Импорт и экспорт в любом месте!
      Передача данных на Ваш или с Вашего компьютера, из Google Таблиц, внешнего сервера, через FTP или пользовательские URL-адреса. Вы будете иметь полный контроль и гибкость ввода и вывода данных.
       

      Google Таблицы - XLSX - CSV - ODS - XML
      Система импорта/экспорта полностью совместима с Google Drive Таблицами, это значит, что Вы сможете отправлять данные из своего магазина в документ, сохраненный в учетной записи Google Drive (для экспорта данных), и собирать данные из электронных таблиц, загружая в Ваш магазин (для импорта данных). Прочие поддерживаемые форматы: XLSX, CSV, ODS, XML.
       

      Миграции между всеми версиями Opencart
      Миграция всех данных между различными версиями Opencart практически мгновенно. Продвинутая система миграции подготовит файл для выбранной целевой версии. Вы также сможете выбрать конкретные данные для миграции (продукты, клиенты, заказы, категории).
       

      Пользовательские колонки (дополнение)
      Есть ли у Вас прочие дополнения, добавляющие настраиваемые поля для различных моделей (продукты, категории, клиенты, заказы, опции и т. д.)? Мы разработали систему для добавления пользовательских колонок в процессы импорта, экспорта и миграции!
       

      Видео инструкции
      Можем Вас заверить, что изучение Import Export PRO будет проще простого! Кроме текстовой документации, мы предлагаем серию простых видеоуроков на разных языках, которые помогут вам начать использовать разработанный инструмент независимо от уровня вашего опыта.
       

      Кое что еще!
      Автоматический генератор SEO URL, выбор идентификаторов товаров для импорта, пропуск существующих товаров в импорте, исключение товаров, которых нет в импорте, полное резервное копирование вашего магазина и многое другое!
       

      Отличная поддержка
      За более чем 10 лет работы с Opencart, тысячи клиентов остались довольны нашими услугами. DevmanExtensions является одной из самых уважаемых компаний на рынке  дополнений для Opencart. Наслаждайтесь лучшей поддержкой, все проблемы будут решены менее чем за 24 часа!
       
      Пример выполнения операции импорта

       
      Пример выполнения операции экспорта

       
      Вы сами выбираете источники для импорта данных!

       
      Вы сами выбираете куда сохранить файл экспорта!

       
      Уникальная миграция данных между версиями Opencart!

       
      Расширенные фильтры!

       
      Сделайте работу с поставщиками удобной!

       
      Планировщик CRON!

       
      Произвольные колонки (дополнение приобретается отдельно - 2 050 руб ($29.99))!
      Если Вам необходимо добавить собственную расширенную информацию, например, о товарах, клиентах, заказах или моделях, то для этого случая мы предусмотрели дополнительный функционал пользовательских колонок, которые могут быть добавлены в файл импорта или экспорта.
       

       

      Submitter DevmanExtensions Submitted 07/06/2018 Category Обмен данными Системные требования Developer's site https://devmanextensions.com/ Метод активации Через официальный сайт дополнения Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 3.0
      2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х
      OcShop 1.5.6.4.х Get request to server of developer Да Старая цена  
    • By toporchillo
      750.00 руб
      Скачать/Купить дополнение


      YML экспорт в Яндекс.Маркет для OpenCart 2.x, 3.x
      Перед Вами версия этого популярного модуля, но для дляOpenCart 2.x и 3.x

      Модуль формирует YML-файл для экспорта каталога товаров на такие площадки как Яндекс.Маркет, torg.mail.ru, price.ru, poisk-podbor.ru, hotprice.ua, nadavi.net, vcene.ua, prom.ua, satu.kz, beru.ru и многие другие

      Покупая модуль, вы можете его использовать не более, чем на одном сайте Интернет магазина. Автор оставляет за собой право отказать в технической поддержке тем, кто использует купленный один раз модуль на нескольких сайтах.

      Демо на OcStore 2.3 (логин: demo пароль: demo)

      Важно:
      Генерация YML-файла через PHP-CLI не гарантируется, но почти всегда работает. Команда:
      <полный путь к php>/php <полный путь к корню сайта>/export/yandex_yml.php Если не работает, но нужно формировать через планировщик (CRON), используйте wget:
      wget -P <полный путь к корню сайта>/export/yandex_yml.xml http://<адрес сайта>/index.php?route=feed/yandex_yml Как быть, если вдруг что-то не работает: Читать FAQ - Частые вопросы
      Не надо сразу создавать задачу в CRONе, не надо сразу отдавать ссылку на YML Яндексу
      1. Откройте ссылку на YML в браузере, щелкните правой кнопкой мышкой, выберете "исходный код".
      2. Вы увидите то, что сформировал скрипт. Возможно там будут сообщения об ошибках PHP. Текст ошибки прекрасно ищется в Гугле или в теме поддержки.
      3. Если вы не можете самостоятельно разобраться с ошибкой, то пришлите ссылку на экспорт. Сообщения без ссылки будут игнорироваться!
      4. Мне не достаточно прислать только результат работы Яндекс-валидатора.
      Внимание! Помощь в настройке, установке, объяснение "а как сделать" не входит в стоимость модуля. Ответы на большинство вопросов можно найти в теме поддержки форума.
      Если вы считаете, что в модуле ошибка - пишите автору на почту. Письма без указания ссылки на YML и ошибки типа "белый экран" или "ничего не работает" будут игнорироваться.
       
      Добавил toporchillo Добавлено 17.03.2017 Категория Обмен данными Системные требования Сайт разработчика Метод активации Без активации Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Нет Старая цена 700  
    • By toporchillo
      Перед Вами версия этого популярного модуля, но для дляOpenCart 2.x и 3.x

      Модуль формирует YML-файл для экспорта каталога товаров на такие площадки как Яндекс.Маркет, torg.mail.ru, price.ru, poisk-podbor.ru, hotprice.ua, nadavi.net, vcene.ua, prom.ua, satu.kz, beru.ru и многие другие

      Покупая модуль, вы можете его использовать не более, чем на одном сайте Интернет магазина. Автор оставляет за собой право отказать в технической поддержке тем, кто использует купленный один раз модуль на нескольких сайтах.

      Демо на OcStore 2.3 (логин: demo пароль: demo)

      Важно:
      Генерация YML-файла через PHP-CLI не гарантируется, но почти всегда работает. Команда:
      <полный путь к php>/php <полный путь к корню сайта>/export/yandex_yml.php Если не работает, но нужно формировать через планировщик (CRON), используйте wget:
      wget -P <полный путь к корню сайта>/export/yandex_yml.xml http://<адрес сайта>/index.php?route=feed/yandex_yml Как быть, если вдруг что-то не работает: Читать FAQ - Частые вопросы
      Не надо сразу создавать задачу в CRONе, не надо сразу отдавать ссылку на YML Яндексу
      1. Откройте ссылку на YML в браузере, щелкните правой кнопкой мышкой, выберете "исходный код".
      2. Вы увидите то, что сформировал скрипт. Возможно там будут сообщения об ошибках PHP. Текст ошибки прекрасно ищется в Гугле или в теме поддержки.
      3. Если вы не можете самостоятельно разобраться с ошибкой, то пришлите ссылку на экспорт. Сообщения без ссылки будут игнорироваться!
      4. Мне не достаточно прислать только результат работы Яндекс-валидатора.
      Внимание! Помощь в настройке, установке, объяснение "а как сделать" не входит в стоимость модуля. Ответы на большинство вопросов можно найти в теме поддержки форума.
      Если вы считаете, что в модуле ошибка - пишите автору на почту. Письма без указания ссылки на YML и ошибки типа "белый экран" или "ничего не работает" будут игнорироваться.
       
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.