Googlebot и Googlebot Other стали создавать нагрузку на хостинг

[hon2012]

Googlebot и Googlebot Other с недавнего времени стали создавать нагрузку на хостинг, из за сканирования страниц фильтров Ocfilter.

 

Это несмотря на то, что эти страницы фильтрации закрыты о индексации в robots Noindex Nofollow.

 

Как полностью запретить гугл боту даже посещать эти страницы фильтрации, т.к. их миллионы комбинаций ?

[Yoda]

Вам нужно проверить точно ли это гугл бот, почитать инструкции по использованию robots.txt, закрыть скорее всего роуты типа ocf= и на время прописать правила crawl delay если у вас это реально гугл бот, а не подмена юзер агента.

[Etegro]

Еще сверьте ip, у Гугла от всегда начинается на 66 по моим наблюдениям.

[cherednychenkoom]

Была у меня недавно похожая ситуация: тоже сильно нагружали сервер по OC-фильтру боты. Фахівці не помогли, пришлось разбираться с ChatGPT  и всё нормализовалось. Через Cloudflare в Security Rules создал правила для блокировки и всё нормализовалось.

Короткая сводка того, что мы настроили в Cloudflare для защиты магазина:

1. Ограничили зарубежный трафик — для посетителей не из Украины включили Managed Challenge, при этом исключили полезных/известных ботов и нужный нам ASN.
2. Защитили OCFilter отдельным правилом:
   http.request.uri.query contains "ocf=" and ip.geoip.country ne "UA"
   → Managed Challenge. Это остановило массовый перебор комбинаций фильтра, который создавал основную нагрузку.
3. Заблокировали AI-краулеры по User-Agent отдельным правилом, чтобы они не создавали ненужную нагрузку на каталог.
4. Сделали исключение для Monobank callback:
   route=extension/payment/mono_pay/callback
   → Skip, причём правило поставили выше блокирующих/Challenge-правил, чтобы webhook MonoPay гарантированно доходил до OpenCart.
5. Не блокировали нормальных поисковых ботов — Googlebot/Google Image и другие нужные краулеры продолжают обход сайта.

Результат: после введения защиты аномальный трафик OCFilter резко снизился, количество «посетителей» вернулось примерно к нормальному уровню, нагрузка на CPU/Entry Processes стабилизировалась, а MonoPay после исключения продолжил нормально обновлять заказы.

 

[killa]

В 11.08.2026 в 16:03, Etegro сказав:

Еще сверьте ip, у Гугла от всегда начинается на 66 по моим наблюдениям.

https://www.gstatic.com/ipranges/goog.json

[Etegro]

В 12.08.2026 в 22:04, killa сказав:

https://www.gstatic.com/ipranges/goog.json

Немного не то. Речь о Гуглботе, а в вашем списке полный список, включая Google DNS. У Гуглбота всегда 66.