Доброго времени суток, так уж сложилось, что в последнее время, хостер стал предъявлять претензии насчет повышеной нагрузки моим ресурсом, причем нагружают в основном боты, посещаемость у сайта маленькая, до 200 в день.
Остальную нагрузку, ввиде 50 тыс хитов за 24 часа, создают боты, за день сканется более 40 тыс страниц.
Первым делом запретил бинга, 5 гб трафика в сутки.
После запрета бинга, стал повышенную активность показывать гугл, около 7гб трафика в сутки, за ним,на втором месте яндекс- 4гб трафика в сутки.
Складывается вопрос, что делать, если запретить поисковики, сайт выпадет из индекса.
Паузы на сканирование в гугл вебмастер и роботс не помогают...
Как бы показать поисковикам, что товар, проиндексированный раз, больше индексировать не нужно?
возможно, спасет <meta name="revisit-after" content="1 days" />, но какой ставить интервал?
поотключал фильтры и все остальные модули из-за повышенной нагрузки, незнаю что и делать.
Выкладываю robots.txt на всякий случай.
User-agent: *Crawl-delay: 3Disallow: /my-account/Disallow: /logout/Disallow: /checkout/cartDisallow: /shopping-cart/Disallow: /change-password/Disallow: /loginDisallow: /checkout/Disallow: /affiliate/Disallow: /adminDisallow: /request-return/Disallow: /catalogDisallow: /downloadDisallow: /exportDisallow: /systemDisallow: /*?*Clean-param: trackingClean-param: filter_nameClean-param: filter_sub_categoryClean-param: filter_descriptionHost: red-storm.orgSitemap: http://red-storm.org/sitemap.xmlUser-agent: YandexUser-agent: GooglebotUser-agent: StackRamblerUser-agent: AportUser-agent: Webalta