Нагрузка на сайт поисковыми ботами Robots.txt

[Five5555]

Всем привет!

Постоянно отключается сайт из-за превышения лимитов. Нагрузку создают яндекс и гугл боты.

Помогите настроить robots.txt, чтобы снизить нагрузку

Вот тот, который используется сейчас:

User-agent: *
Disallow: /*index.php*
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /m/
Disallow: /mobile/
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif
Crawl-delay: 15

User-agent: Yandex
Disallow: /*index.php*
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /m/
Disallow: /mobile/
Allow: /export/yandex_yml.xml
Crawl-delay: 10
Clean-param: tracking

Host: https://sfera.by
Sitemap: https://sfera.by/index.php?route=feed/fast_sitemap

 

[Otche94]

1 час назад, Five5555 сказал:

Всем привет!

Постоянно отключается сайт из-за превышения лимитов. Нагрузку создают яндекс и гугл боты.

Помогите настроить robots.txt, чтобы снизить нагрузку

Вот тот, который используется сейчас:

User-agent: *
Disallow: /*index.php*
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /m/
Disallow: /mobile/
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif
Crawl-delay: 15

User-agent: Yandex
Disallow: /*index.php*
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /m/
Disallow: /mobile/
Allow: /export/yandex_yml.xml
Crawl-delay: 10
Clean-param: tracking

Host: https://sfera.by
Sitemap: https://sfera.by/index.php?route=feed/fast_sitemap

 

яндекс и гугл не создает, там штук 500 ботов которые врываются на сайт и по 500 раз открывают страницы в секунду, и это не яндекс и гугл, поставь модуль lighting , у меня стоит, мне эти петухи вообще не страшны) хотя они и так не особо создавали, но были пару штук которые реально открывали 500 страниц за секунду