Необходима оптимизация нагрузки на mysql сервер

[MGrey]

Всем добрый день.
Хостинг Ukraine применил ограничения к сайту из-за повышенной нагрузки на mysql сервер.
Рекомендуют оптимизировать Медленные запросы....

Также, при анализе нагрузки мы обнаружили, что гугл-боты лезут по разным адресам типа:
GET /svet/mfp/manufacturers,decodom-1,decodom,abhika,dialma-brown/stock_status,7,11,9/ HTTP/1.0" 200 186953 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

И везде на окончании stock_status.  Может ли это тормозить сайт и влиять на степень нагрузки на mysql сервер?

Прошу помощи в оптимизации Медленных запросов, снижении нагрузки на mysql сервер и ускорению загрузки сайта.

[Yoda]

41 минуту назад, MGrey сказал:

Всем добрый день.
Хостинг Ukraine применил ограничения к сайту из-за повышенной нагрузки на mysql сервер.
Рекомендуют оптимизировать Медленные запросы....

Также, при анализе нагрузки мы обнаружили, что гугл-боты лезут по разным адресам типа:
GET /svet/mfp/manufacturers,decodom-1,decodom,abhika,dialma-brown/stock_status,7,11,9/ HTTP/1.0" 200 186953 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

И везде на окончании stock_status.  Может ли это тормозить сайт и влиять на степень нагрузки на mysql сервер?

Прошу помощи в оптимизации Медленных запросов, снижении нагрузки на mysql сервер и ускорению загрузки сайта.

 

Просто добавьте в роботс

Disallow: /*mfp

 

Бот пытается пройти по всем вариантам комбинаций фильтра. Мало того что вы дубли страниц плодите, еще и сервер подгружаете.

 

[Marianna]

1 час назад, Yoda сказал:

 

Просто добавьте в роботс

Disallow: /*mfp

 

Бот пытается пройти по всем вариантам комбинаций фильтра. Мало того что вы дубли страниц плодите, еще и сервер подгружаете.

 

Отвечу за MGrey. Всегда было добавлено это у него:

Disallow: *?mfp=*
Disallow: *&mfp=*

 

несколько часов назад я добавила это:

Disalow: /*mfp
Disallow: /*?mfp=
Disallow: /*&mfp=

 

может какой-то одной строчки достаточно, не знаю. Но пока ситуация не изменилась. По логам бот гугла продолжается долбится.

Edited February 3, 2020 by Marianna

[Yoda]

5 часов назад, Marianna сказал:

Отвечу за MGrey. Всегда было добавлено это у него:

Disallow: *?mfp=*
Disallow: *&mfp=*

 

несколько часов назад я добавила это:

Disalow: /*mfp
Disallow: /*?mfp=
Disallow: /*&mfp=

 

 

может какой-то одной строчки достаточно, не знаю. Но пока ситуация не изменилась. По логам бот гугла продолжается долбится.

 

*mfp  - этого не было!

А если посмотреть сюда

 

/svet/mfp/manufacturers,decodom-

 

Что мы видим? mfp в урле а не как get параметр.
соответственно это все бесполезно:

 

Disallow: *?mfp=*
Disallow: *&mfp=*

 

Что касается нагрузки от гугла, чтобы он успокоился ему надо перечитать роботс, что делает он не сразу. И мало того принимает его во внимание после переобхода в течении суток.

И мало того, в новом гуглвебмастере нет инструмента изменения robots.txt  и надо идти в старый. А еще он просто может наплевать на роботс, и тогда такой трафик надо отбивать на уровне какого-то кода.

 

 

 

[MGrey]

Исполнитель найден.
Спасибо всем откликнувшимся.
Желаю успехов! )

[triok]

Здравствуйте! Есть аналогичная проблема с нагрузкой на сервер, ищу исполнителя который поможет определить проблему, проанализировать запросы и оптимизировать БД!