Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

yandex.com/bots - как оптимизировать ?


so0EmFD190
 Поделиться

Рекомендованные сообщения

Добрый день !
Как избавиться от нагрузки ЦП который делает  yandex.com/bots ?
В роботсе Crawl-delay: 5
90 - поддоменов 
3к товаров в каждом -1 бд для всех 
4 ядра по 2.7 Ггц 
1 гб рам 

Есть предложения ?
За ранье спасибо )


В логе:
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:47] - https://stavropol.shop-avd.ru/polomoechnye-mashiny/akkumuljatornye/fimap/cleanfix/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:47] - https://kostroma.shop-avd.ru/polomoechnye-mashiny/lindhaus/viper/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:49] - https://saratov.shop-avd.ru/polomoechnye-mashiny/portotecnica/comet/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:50] - https://sochi.shop-avd.ru/polomoechnye-mashiny/comet/truvox/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:50] - https://yoshkar-ola.shop-avd.ru/polomoechnye-mashiny/numatic/tennant/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:51] - https://chelyabinsk.shop-avd.ru/polomoechnye-mashiny/setevye/comet/karcher/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:51] - https://kazan.shop-avd.ru/polomoechnye-mashiny/setevye/portotecnica/comet/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:52] - https://kemerovo.shop-avd.ru/mojki-vysokogo-davlenija/professionalnye/portotecnica/ipg/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:52] - https://perm.shop-avd.ru/polomoechnye-mashiny/akkumuljatornye/ghibli/comac/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:53] - https://spb.shop-avd.ru/polomoechnye-mashiny/akkumuljatornye/fimap-mr-65
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:54] - https://rostov-na-donu.shop-avd.ru/mojki-vysokogo-davlenija/s-podogrevom/portotecnica/moschnost-kvt-/8-7/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:54] - https://ufa.shop-avd.ru/polomoechnye-mashiny/akkumuljatornye/lavor-pro/fimap/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:54] - https://habarovsk.shop-avd.ru/promyshlennye-apparaty-vysokogo-davlenija/shop-avd/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:55] - https://barnaul.shop-avd.ru/mojki-vysokogo-davlenija/comet/amit-aquatech/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:55] - https://kaluga.shop-avd.ru/mojki-vysokogo-davlenija/statsionarnye/rashod-vody-l-ch-/840/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:56] - https://spb.shop-avd.ru/mojki-vysokogo-davlenija/aksessuary-i-zapchasti-avd/rm-pistolet-st-2300-s-muftoj-kw-nerzhavejka
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:56] - https://novosibirsk.shop-avd.ru/polomoechnye-mashiny/setevye/karcher/tennant/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:56] - https://krasnodar.shop-avd.ru/polomoechnye-mashiny/delvir/kedi/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:58] - https://surgut.shop-avd.ru/pylesosy/soteco/cleanfix/

Screenshot_4.jpg

Ссылка на комментарий
Поделиться на других сайтах

4 минуты назад, so0EmFD190 сказал:

В роботсе Crawl-delay: 5

вот это уже год как не работает

В вебмастере сейчас указывается это в индексирование - скорость обхода

Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.