Перейти к содержанию
michael

Закрыть страницы от поисковиков

Рекомендуемые сообщения

Наблюдаю такую картинку:

9d26cf0c0fd1.png

Собираюсь в product/category.tpl

для блока

<div class="product-filter">
...
</div>
задать примерно такое условие:

if (isset($_SERVER['HTTP_USER_AGENT']) && !preg_match('/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'])) {    }
Это закроет для роботов ссылки на эти страницы, но насколько это правильное решение?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

1. запретить в роботс страницы

2. поставить ссылки на фильтры в nofollow

 

подождать пару месяцев - страницы уйдут из индекса

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В robots.txt и так запрещена индексация этих страниц. Не стал морочить себе голову и пошёл по следующему пути: выдавать роботам "облегчённую" версию страницы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Похожий контент

    • От GoldenScrew
      В Ocstore вшиты ссылки в конец кода для роботов поисковых систем?
      В исходном коде их не видно, если заходите, как человек с обычного браузера.
      Если же заходит робот на сайт, то для него внизу кода встроена ссылка на сторонний ресурс. (в моём случае встроена ссылка на dailyn.ru)
       
      Проверьте, у кого также?
       
      Для этого зайдите в Search Console от Google https://www.google.com/webmasters/tools/googlebot-fetch-details? и введите адрес Вашего сайта, и гляньте в самый низ кода.
       
      Как с этим бороться?

    • От wallnut
      Не индексируются страницы товаров, в Search Console, в просмотре страницы как Googlebot категории и все остальные страницы находятся, кроме страниц товаров, их он не находит
      В чем может быть проблема?
      Сайт: kraftsystem.com
    • От adnext
      Доброго времени суток, так уж сложилось, что в последнее время, хостер стал предъявлять претензии насчет повышеной нагрузки моим ресурсом, причем нагружают в основном боты, посещаемость у сайта маленькая, до 200 в день.
      Остальную нагрузку, ввиде 50 тыс хитов за 24 часа, создают боты, за день сканется более 40 тыс страниц.
      Первым делом запретил бинга, 5 гб  трафика в сутки.
      После запрета бинга, стал повышенную активность показывать гугл, около 7гб трафика в сутки, за ним,на втором месте яндекс- 4гб трафика в сутки.
      Складывается вопрос, что делать, если запретить поисковики, сайт выпадет из индекса.
      Паузы на сканирование в гугл вебмастер и роботс не помогают...
       
      Как бы показать поисковикам, что товар, проиндексированный раз, больше индексировать не нужно?
      возможно, спасет <meta name="revisit-after" content="1 days" />, но какой ставить интервал?
      поотключал фильтры и все остальные модули из-за повышенной нагрузки, незнаю что и делать.
       
      Выкладываю robots.txt на всякий случай.
      User-agent: *Crawl-delay: 3Disallow: /my-account/Disallow: /logout/Disallow: /checkout/cartDisallow: /shopping-cart/Disallow: /change-password/Disallow: /loginDisallow: /checkout/Disallow: /affiliate/Disallow: /adminDisallow: /request-return/Disallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?*Clean-param: trackingClean-param: filter_nameClean-param: filter_sub_categoryClean-param: filter_descriptionHost: red-storm.orgSitemap: http://red-storm.org/sitemap.xmlUser-agent: YandexUser-agent: GooglebotUser-agent: StackRamblerUser-agent: AportUser-agent: Webalta
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.