Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

yandex.com/bots - как оптимизировать ?


Recommended Posts

Добрый день !
Как избавиться от нагрузки ЦП который делает  yandex.com/bots ?
В роботсе Crawl-delay: 5
90 - поддоменов 
3к товаров в каждом -1 бд для всех 
4 ядра по 2.7 Ггц 
1 гб рам 

Есть предложения ?
За ранье спасибо )


В логе:
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:47] - https://stavropol.shop-avd.ru/polomoechnye-mashiny/akkumuljatornye/fimap/cleanfix/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:47] - https://kostroma.shop-avd.ru/polomoechnye-mashiny/lindhaus/viper/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:49] - https://saratov.shop-avd.ru/polomoechnye-mashiny/portotecnica/comet/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:50] - https://sochi.shop-avd.ru/polomoechnye-mashiny/comet/truvox/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:50] - https://yoshkar-ola.shop-avd.ru/polomoechnye-mashiny/numatic/tennant/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:51] - https://chelyabinsk.shop-avd.ru/polomoechnye-mashiny/setevye/comet/karcher/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:51] - https://kazan.shop-avd.ru/polomoechnye-mashiny/setevye/portotecnica/comet/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:52] - https://kemerovo.shop-avd.ru/mojki-vysokogo-davlenija/professionalnye/portotecnica/ipg/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:52] - https://perm.shop-avd.ru/polomoechnye-mashiny/akkumuljatornye/ghibli/comac/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:53] - https://spb.shop-avd.ru/polomoechnye-mashiny/akkumuljatornye/fimap-mr-65
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:54] - https://rostov-na-donu.shop-avd.ru/mojki-vysokogo-davlenija/s-podogrevom/portotecnica/moschnost-kvt-/8-7/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:54] - https://ufa.shop-avd.ru/polomoechnye-mashiny/akkumuljatornye/lavor-pro/fimap/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:54] - https://habarovsk.shop-avd.ru/promyshlennye-apparaty-vysokogo-davlenija/shop-avd/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:55] - https://barnaul.shop-avd.ru/mojki-vysokogo-davlenija/comet/amit-aquatech/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:55] - https://kaluga.shop-avd.ru/mojki-vysokogo-davlenija/statsionarnye/rashod-vody-l-ch-/840/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:56] - https://spb.shop-avd.ru/mojki-vysokogo-davlenija/aksessuary-i-zapchasti-avd/rm-pistolet-st-2300-s-muftoj-kw-nerzhavejka
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:56] - https://novosibirsk.shop-avd.ru/polomoechnye-mashiny/setevye/karcher/tennant/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:56] - https://krasnodar.shop-avd.ru/polomoechnye-mashiny/delvir/kedi/
[Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)][46.229.212.201][18-11-07 16:07:58] - https://surgut.shop-avd.ru/pylesosy/soteco/cleanfix/

Screenshot_4.jpg

Надіслати
Поділитися на інших сайтах

4 минуты назад, so0EmFD190 сказал:

В роботсе Crawl-delay: 5

вот это уже год как не работает

В вебмастере сейчас указывается это в индексирование - скорость обхода

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.