Поисковые боты ложат сайт.

[adnext]

Доброго времени суток, так уж сложилось, что в последнее время, хостер стал предъявлять претензии насчет повышеной нагрузки моим ресурсом, причем нагружают в основном боты, посещаемость у сайта маленькая, до 200 в день.

Остальную нагрузку, ввиде 50 тыс хитов за 24 часа, создают боты, за день сканется более 40 тыс страниц.

Первым делом запретил бинга, 5 гб  трафика в сутки.

После запрета бинга, стал повышенную активность показывать гугл, около 7гб трафика в сутки, за ним,на втором месте яндекс- 4гб трафика в сутки.

Складывается вопрос, что делать, если запретить поисковики, сайт выпадет из индекса.

Паузы на сканирование в гугл вебмастер и роботс не помогают...

 

Как бы показать поисковикам, что товар, проиндексированный раз, больше индексировать не нужно?

возможно, спасет <meta name="revisit-after" content="1 days" />, но какой ставить интервал?

поотключал фильтры и все остальные модули из-за повышенной нагрузки, незнаю что и делать.

 

Выкладываю robots.txt на всякий случай.

User-agent: *Crawl-delay: 3Disallow: /my-account/Disallow: /logout/Disallow: /checkout/cartDisallow: /shopping-cart/Disallow: /change-password/Disallow: /loginDisallow: /checkout/Disallow: /affiliate/Disallow: /adminDisallow: /request-return/Disallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?*Clean-param: trackingClean-param: filter_nameClean-param: filter_sub_categoryClean-param: filter_descriptionHost: red-storm.orgSitemap: http://red-storm.org/sitemap.xmlUser-agent: YandexUser-agent: GooglebotUser-agent: StackRamblerUser-agent: AportUser-agent: Webalta

[destreser]

В сайтмапе для нужных страниц указывайте <changefreq> monthly.

http://www.sitemaps.org/ru/protocol.html

[vazel48]

Хоть тема и древняя, напишу, думаю многим будет полезно. 

Гугл боты регулярно начали ложить сайт, особенно после правок или массовых добавлений/удалений товаров https://prnt.sc/w0gvg5.

На директивы в robots.txt не реагируют, да и банить по ай-пи их с точки зрения СЕО нельзя, ну и адреса как правило каждый раз разные.

 

! Хостер подсказал что еще можно ограничить частоту индексации через Google Search Console https://wiki.ukraine.com.ua/hosting:crawl-delay

Поставил наугад 4 сек. между запросами, пока норм.

[buslikdrev]

16 минут назад, vazel48 сказал:

! Хостер подсказал что еще можно ограничить частоту индексации через Google Search Console https://wiki.ukraine.com.ua/hosting:crawl-delay

Поставил наугад 4 сек. между запросами, пока норм.

Не нужно их ограничивать, у вас изображения были сгенерированы?

[Yoda]

В 08.10.2013 в 15:18, adnext сказал:

Доброго времени суток, так уж сложилось, что в последнее время, хостер стал предъявлять претензии насчет повышеной нагрузки моим ресурсом, причем нагружают в основном боты, посещаемость у сайта маленькая, до 200 в день.

Остальную нагрузку, ввиде 50 тыс хитов за 24 часа, создают боты, за день сканется более 40 тыс страниц.

Первым делом запретил бинга, 5 гб  трафика в сутки.

После запрета бинга, стал повышенную активность показывать гугл, около 7гб трафика в сутки, за ним,на втором месте яндекс- 4гб трафика в сутки.

Складывается вопрос, что делать, если запретить поисковики, сайт выпадет из индекса.

Паузы на сканирование в гугл вебмастер и роботс не помогают...

 

Как бы показать поисковикам, что товар, проиндексированный раз, больше индексировать не нужно?

возможно, спасет <meta name="revisit-after" content="1 days" />, но какой ставить интервал?

поотключал фильтры и все остальные модули из-за повышенной нагрузки, незнаю что и делать.

 

Выкладываю robots.txt на всякий случай.

User-agent: *Crawl-delay: 3Disallow: /my-account/Disallow: /logout/Disallow: /checkout/cartDisallow: /shopping-cart/Disallow: /change-password/Disallow: /loginDisallow: /checkout/Disallow: /affiliate/Disallow: /adminDisallow: /request-return/Disallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?*Clean-param: trackingClean-param: filter_nameClean-param: filter_sub_categoryClean-param: filter_descriptionHost: red-storm.orgSitemap: http://red-storm.org/sitemap.xmlUser-agent: YandexUser-agent: GooglebotUser-agent: StackRamblerUser-agent: AportUser-agent: Webalta

Это же прекрасно, многие не могут бота заманить годами.
Тут надо задуматься о смене хостинга и настройке магазина, а не бота ограничивать.
И да проверьте, куда ходит бот - возможно у вас страницы фильтров открыты.
Ну и закройте sort, order и limit, а также search и tag