Перейти к содержанию
adnext

Поисковые боты ложат сайт.

Рекомендуемые сообщения

Доброго времени суток, так уж сложилось, что в последнее время, хостер стал предъявлять претензии насчет повышеной нагрузки моим ресурсом, причем нагружают в основном боты, посещаемость у сайта маленькая, до 200 в день.

Остальную нагрузку, ввиде 50 тыс хитов за 24 часа, создают боты, за день сканется более 40 тыс страниц.

Первым делом запретил бинга, 5 гб  трафика в сутки.

После запрета бинга, стал повышенную активность показывать гугл, около 7гб трафика в сутки, за ним,на втором месте яндекс- 4гб трафика в сутки.

Складывается вопрос, что делать, если запретить поисковики, сайт выпадет из индекса.

Паузы на сканирование в гугл вебмастер и роботс не помогают...

 

Как бы показать поисковикам, что товар, проиндексированный раз, больше индексировать не нужно?

возможно, спасет <meta name="revisit-after" content="1 days" />, но какой ставить интервал?

поотключал фильтры и все остальные модули из-за повышенной нагрузки, незнаю что и делать.

 

Выкладываю robots.txt на всякий случай.

User-agent: *Crawl-delay: 3Disallow: /my-account/Disallow: /logout/Disallow: /checkout/cartDisallow: /shopping-cart/Disallow: /change-password/Disallow: /loginDisallow: /checkout/Disallow: /affiliate/Disallow: /adminDisallow: /request-return/Disallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?*Clean-param: trackingClean-param: filter_nameClean-param: filter_sub_categoryClean-param: filter_descriptionHost: red-storm.orgSitemap: http://red-storm.org/sitemap.xmlUser-agent: YandexUser-agent: GooglebotUser-agent: StackRamblerUser-agent: AportUser-agent: Webalta

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Похожий контент

    • От GoldenScrew
      В Ocstore вшиты ссылки в конец кода для роботов поисковых систем?
      В исходном коде их не видно, если заходите, как человек с обычного браузера.
      Если же заходит робот на сайт, то для него внизу кода встроена ссылка на сторонний ресурс. (в моём случае встроена ссылка на dailyn.ru)
       
      Проверьте, у кого также?
       
      Для этого зайдите в Search Console от Google https://www.google.com/webmasters/tools/googlebot-fetch-details? и введите адрес Вашего сайта, и гляньте в самый низ кода.
       
      Как с этим бороться?

    • От wallnut
      Не индексируются страницы товаров, в Search Console, в просмотре страницы как Googlebot категории и все остальные страницы находятся, кроме страниц товаров, их он не находит
      В чем может быть проблема?
      Сайт: kraftsystem.com
    • От varistello
      Добрый день. Обращаюсь к пользователям форума по такой теме: оптимизация для поисковых систем.
      В работе уперся в такую ситуацию: если вбить в поисковик Google "швабра с двойным отжимом" ссылки моего сайта выбивает на первых позициях, а если вбить туда же "швабра с отжимом" меня на первой странице вообще нет. 
       
      Подскажите какая логика у поисковиков и на что обращают внимание поисковики больше всего.
      Какую важность для поисковиков имеет само описание карты товара?
      Как лучше и правильнее заполнять поля HTML-тег Title - HTML-тег H1 - Мета-тег Description - Мета-тег Keywords
       
       
      Благодарю за помощь и внимание. 
      Возможно, данная тема, будет еще кому-то полезна (таким же новичкам как я)
    • От michail2012
      Добрый день, друзья. У меня есть такой вопрос: если опубликовать товары с ключевыми словами и пр, но без текста описания, поисковики не будут ругаться?

      Допустим много товаров и физически все не могу сразу заполнить текстом, а магазин загружать в интернет скоро, поэтому дата публикации будет одна, а текст например через неделю или месяц добавлю и обновлю карточку товара. Не влияет ли это негативно на оценку сайта поисковыми системами? Просто дата публикации будет, ключевые слова и так далее.
       
      Или ничего такого и как появится качественный текст его нормально будут брать в поиск гугл и яндекс?
    • От action563
      Привет всем. нужна ваша помощь. сделал я сайт сам с горем пополам. и получилась ситуация такая что если вводить "mymagazin.by" в адресной строке то на мой сайт попадаешь, если же вводить в поискових то показывает какую то ерунду а мой сай не показывает. Как сделать чтобы при вводе "mymagazin.by" в поисковике, мой сайт выскакивал. поидее он же должен выскакивать на первой строке. картинку прилагаю.

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.