снизить нагрузку на сайт от бота Я

[natyla]

Кто сможет взять в работу сайт для снижения нагрузки на сайт от бота Я? хост из-за этого ввел ограничения на сайт. 

[bodyak0]

Конкретики больше если можно.
Пауки долбят яндекса?
Что за хостинг?
Что хостер говорит??

[natyla]

13 часов назад, bodyak0 сказал:

Конкретики больше если можно.
Пауки долбят яндекса?
Что за хостинг?
Что хостер говорит??

Да пауки налетели на сайт. В веб-мастер уже сделано самая низкая скорость обхода. Хостинг бегет. Говорят через cloudflare можно сделать. Но в этом сервисе не знаю как что делать.

[private]

Гугэль в помощь.

[100napb]

1 hour ago, natyla said:

Да пауки налетели на сайт. В веб-мастер уже сделано самая низкая скорость обхода. Хостинг бегет. Говорят через cloudflare можно сделать. Но в этом сервисе не знаю как что делать.

очевидно, что генерация страниц Вашего сайта создает значительную нагрузку на виртуальном хостинге. Вероятно, у Вас очень низкая скорость ответа сервера (время получения первого байта, TTFB). Из-за этого Вам и хостер шлет предупреждения, и из-за этого же будет страдать индексация поисковиками (они не любят сайты с медленным ответом и не любят долго ждать)

 

Многие не знают как заманить ботов к себе на сайт. А Вы просто не можете справиться с их временным наплывом.

Вам нужно в первую очередь озаботится тем, что бы провести какую-то минимальную оптимизацию, улучшить время первого байта и снизить нагрузку на сервер. И в последнюю очередь думать о том, что бы вводить какие-то дополнительные ограничения для ботов (кроме необходимых)

 

Самый простой совет:

- проверьте, по каким страницам ходят боты. И какие именно боты. Убедитесь, что у Вас в роботс.тхт закрыты страницы фильтра со всякими установленными параметрами; что файлы выгрузки в яндекс-маркет или иные маркеты работают быстро или генерируются по расписанию и отдается уже готовый файл, а не динамический фид.

- что отключен подсчет количества товаров в категориях в административной части опенкарта или настроено какое-то их кэширование (подсчет количества создает ощутимую нагрузку на сервер)