Нагрузка сервера при обходе яндекса

[so0EmFD190]

Всем привет !
У меня глобальная проблема с нагрузкой на цп, что бы я не делал все без полезно !
Сама проблема заключается в том что когда яндекс заходит на поддомены (у нас их 100) и начинает грузить их то начинает цп грузить до 90 бывало что до 100 доходило, мы увеличили мощность в 2 раза и того у нас было 4 ядра и гиг озу ( "Вопрос:может быть что иза того что мало озу лагать так ?") и все ровно он грузил до 90% хотя мощность увеличена была в 2 раза, магазин у нас на 2000 товаров и OCstore 2.3. Предлагайте пожалуйста ваши варианты а кто знает причину конкретно и может ее устранить отпишите в лс договоримся)

В настройках яндекс поставили скорость обхода на минимум !

 

 

 

 

 

[auditor]

А с чего взяли что это яндекс ? может вас конкуренты заказали или парсят, от имени яндекс бота ? как анализировали то ?

[Yoda]

У вас может быть любое количество причин: от очень большого количества дескрипторов сессий, до кривых рук системных администраторов.

Также у вас фактически не 2000 товаров а для поискового бота 2000*100 = 200 000, что само по себе достаточно много. 
К тому же "мы добавили ядра" - а вы систему научили эти ядра правильно использовать? 
Еще. Если посмотреть на ваш график, то явно видно, что у вас существуют некие циклические повторяющиеся процессы, которые скорее всего вызваны какой нибудь генерацией тяжелых скриптов планировщиком. И скорее всего некорректно реализованным планировщиком. 

И напоследок, кроме Яндекса есть еще масса "полезных ботов".

 

Поэтому ваша ситуация это совершенно не проблема, вам достаточно проанализировать паттерн трафика, отследить что создает пики, устранить причину, убрав узкие места и распределив по возможности нагрузку и закрыть все возможные узкие места, создав 60-70% запаса ресурсов от пика, для того чтобы подобная ситуация не повторилась. Если специалисты по свопам не помогут, стукните в начале следующей недели, возможно будет время посмотреть вашу беду.

[YulanaKiev]

1 час назад, Yoda сказал:

.... еще масса "полезных ботов"....

Парни здоров, тема интересная.

Хочется вопрос задать, кто для каких ботов "запреты ставит"?

[Yoda]

23 минуты назад, YulanaKiev сказал:

Парни здоров, тема интересная.

Хочется вопрос задать, кто для каких ботов "запреты ставит"?

Возможно вам проще будет понять это, поставив вопрос не с точки зрения "ставим запреты", а от противного. А какие собственно боты вам нужны?
У вас есть трафик с BING, или Mail.ru.

 

Ну  и дальше просится логичный ответ, что надо разрешать посещения только тем ботам, которые нужны именно вам, и по возможности блокировать всех остальных.

[YulanaKiev]

4 минуты назад, Yoda сказал:

Возможно вам проще будет понять это, поставив вопрос не с точки зрения "ставим запреты", а от противного. А какие собственно боты вам нужны?
У вас есть трафик с BING, или Mail.ru.

 

Ну  и дальше просится логичный ответ, что надо разрешать посещения только тем ботам, которые нужны именно вам, и по возможности блокировать всех остальных.

Возразить нечего, но посмотреть весь бы список...