Оптимизация скорости

[RuslanLight]

Всем Здравствуйте!
Вчера на моем сайте происходили какие-то чудеса.
С середины дня сайт начал тормозить, зашел на хостинг и увидел что CPU перегружен до 125% (относительно тарифного плана хостинга).
Изменений в коде ни в предыдущий ни в этот день не делались.
При том что трафа, за этот день, в разы меньше чем было в декабря за один час. И в декабре таких глюков не было!
Сначала начал грешить на сбой в парсинге модуля SimplePars. Выключил модуль. вырубил крон, удалил на хосте саму запись крона, обновил модификаторы, обновил кеш админки.
Вроде попустило, но на пару минут, а потом продолжились скачки до 100-125%.
Выключил вообще траф, всю ночь все равно были скачки с нагрузкой на CPU при почти полном отсутствии трафа (кроме ботов поисковиков кончено).
Утром принудительно закешировал все страницы в JetCache и о чудо, попустило.
И слайды:
Всплеск необычной нагрузки на CPU, видно что в сравнении с предыдущим днем этот всплеск необычный - https://prnt.sc/wlyln0

Всплеск процессов PHP, тоже необычно смотрится в сравнении с пред днем - https://prnt.sc/wlymgk

Сразу скажу что проблем с хостингом нет, хостинг в декабре держал большую нагрузку в х10-20 раз, с тех пор особо ничего не поменялось, товары хоть и добавились (ок 15-20% от общего кол-ва), но и неактивных ушло столь-же. Но сапорт хостинга не смог дать вразумительный ответ кто грузит так проц, сказали толкьо index.php. Но через него идут по сути все процессы, поэтому что за паразит так "убивал" проц я не мог установить.

В общем!
Понимаю, что любую сложную систему надо оптимизировать персонально. В тч куча установленных модулей и темы, не может проходить бесследно.
Поэтому, ищу специалиста(ов) который сможет оптимизировать/ускорить сайт по максимуму, снять нагрузку с сервера и ускорить сайт в принципе!
OcStore 3.0.2.0
тема - UltraStore 2.1.3
JetCache v 18.1

PS Сори за простыню! )

Змінено 13 січня 2021 користувачем RuslanLight
исправление ошибок

[i3bepb]

Я выдвену гипотезу. Тормоза на сайте были всегда, а в тот день когда были чудеса просто "протух" кэш, чему доказательство:

2 часа назад, RuslanLight сказал:

Утром принудительно закешировал все страницы в JetCache и о чудо, попустило.

 

Т.е. если бы не кэш, то сайт тормозил всегда и соответственно одно из самых простых решении проблемы это установить модуль кэша, а он уже установлен! Люблю поумничать.

[Dotrox]

2 година назад, RuslanLight сказав:

кроме ботов поисковиков кончено

Вы так пишите, будто это что-то незначительное. А, между прочим, для большинства сайтов боты - это основной источник нагрузки.

 

 

3 години назад, RuslanLight сказав:

товары хоть и добавились (ок 15-20% от общего кол-ва), но и неактивных ушло столь-же

У вас неправильные представления о влиянии товаров на нагрузку.

Вы опять недооцениваете ботов! Если общее количество товаров не изменилось - это не добавляет дополнительную нагрузку только на базу при отдельном запросе.

Но это увеличивает нагрузку от ботов! То есть, у вас на сайте появилось 20% новых страниц, которые боты ещё не индексировали и начинают их активно поглощать. При этом 20% удалённых страниц всё ещё в базе ботов и они продолжают пытаться их запросить.

 

 

3 години назад, RuslanLight сказав:

Всплеск процессов PHP, тоже необычно смотрится в сравнении с пред днем - https://prnt.sc/wlymgk

Очевидно же, что нагрузка  именно от ботов. Увеличение количества процессов указывает на увеличение количества параллельных запросов.

 

Проверьте по логам сервера какие боты к вам заходят. Возможно, часть из них вам не нужны (вероятно, вообще все кроме Гугла и Яндекса). Их можно заблокировать - это снизит нагрузку.

 

3 години назад, RuslanLight сказав:

Утром принудительно закешировал все страницы в JetCache и о чудо, попустило.

Заранее прогретый кеш существенно сокращает время ответа сервера уже при первом запросе к странице. То есть, процессы php освобождаются значительно быстрее и каждый успевает обработать больше запросов за единицу времени, а это приводит к уменьшению их общего количества и снижению нагрузки. Плюс, с кешем снижается и нагрузка от базы.

[RuslanLight]

Смотрел логи, в моменты нагрузок (до отключения трафа) ботов на сайте не было, был 1-2 юзера/1 мин.
Товары были добавленны несколькими днями ранее (2-3)

[Dotrox]

2 година назад, RuslanLight сказав:

Смотрел логи, в моменты нагрузок (до отключения трафа) ботов на сайте не было, был 1-2 юзера/1 мин.

По одному из ваших скринов видно, что обычное количество процессов php у вас даже до 5 не дотягивает, но во время прыжка нагрузки их количество в пиковые моменты переваливало за 20.

Процессы php создаются только под внешние запросы. Это значит, что у вас было по 20 одновременных запросов в обработке.

Так что либо вы не там смотрите запросы, либо эти 1-2 юзера сознательно пытались вам сайт положить какими-то тяжёлыми запросами (например снова и снова открывали сайтмап).

[RuslanLight]

Я склоняюсь все же к теории кеширования, что в какой-то момент произошло удаление ресайзов картинок и плагин кеширования начал их по новой кешировать. 
В тч это выходит из разговора с автором модуля кширования.
Но для меня конечно такое поведение сайта было странным. ранее как-то не обращал внимания на такие глюки.

Змінено 13 січня 2021 користувачем RuslanLight

[Dotrox]

1 хвилину назад, RuslanLight сказав:

Я склоняюсь все же к теории кеширования, что в какой-то момент произошло удаление ресайзов картинок и плагин кеширования начал их по новой кешировать. 
В тч это выходит из разговора с автором модуля кширования.

Спросите у автора модуля может ли его модуль самостоятельно запускать процессы php либо просто создавать запросы к серверу.

Если не может, тогда этот модуль никак не может объяснить всплеск количества процессов php.

А если может... избавьтесь от него

[RuslanLight]

@Dotrox  но раз уж мы все тут собрались... )))
есть вопрос который возможно касается и кеширования!

 

Пытаюсь изменить надпись на кнопке "оформить заказ", и происходят чудеса. у себя в браузере вижу изменения, а вот в инкогнито и другие пользователи видят старую надпись. 
Подскажите пожалуйста, правильно ли я меняю эту надпись в файле: /catalog/language/язык/язык.php и /catalog/language/язык/%locale%.php
Поменял еще в паре файлах эту надпись, в БД ее нету. Уже с ног сбился понять что не так!

[RuslanLight]

1 минуту назад, Dotrox сказал:

Если не может, тогда этот модуль никак не может объяснить всплеск количества процессов php.

А если может... избавьтесь от него

 

да сам модуль может запускать эти процесс и кеширует на лету картинки при посещении ботов и юзеров,
но так как это происходит спонтанно и хаотично. то происходит много запуском этих процессов (я так думаю).
Лучшим выходом это перекешировтаь это "вручную", (нажав на кнопку создать кеш).

К сожалению удалить его не могу ))))
Сегодня я понял что этот модуль все же очень даже полезная штука ) и дает Пейджспид 96/92 (моб/комп) на странице товара.

[Dotrox]

2 хвилини назад, RuslanLight сказав:

у себя в браузере вижу изменения, а вот в инкогнито и другие пользователи видят старую надпись.

Обычно происходит наоборот (но это если закешировалось именно в браузере).

 

Единственное объяснение, которое могу придумать: модуль кеширования показывает вам актуальную версию страницы, потому что вы залогинены в админке, а в режиме инкогнито и другим посетителям показывает из своего кеша.

 

 

3 хвилини назад, RuslanLight сказав:

Подскажите пожалуйста, правильно ли я меняю эту надпись в файле: /catalog/language/язык/язык.php и /catalog/language/язык/%locale%.php

Зависит от того стандартное это оформление заказа или какой-то модуль.

И в любом случае после правок файлов нужно обновлять кеш модификаторов.

 

Но если у себя вы видите изменение, то и файл должен быть таки правильный и с модификаторами проблем нет.

[RuslanLight]

19 минут назад, Dotrox сказал:

Зависит от того стандартное это оформление заказа или какой-то модуль.

И в любом случае после правок файлов нужно обновлять кеш модификаторов.

шаблон - Ultrastore
модуль - Simple
кеш модификаторов обновляю наверное чаще чем зубы чищу )))
В модуле симпл тоже в языковом пакете обновил значение

[Dotrox]

1 годину назад, RuslanLight сказав:

кеш модификаторов обновляю наверное чаще чем зубы чищу )))
В модуле симпл тоже в языковом пакете обновил значение

Как я уже написал выше, если вы сами свои правки видите, то проблема не в файлах и не в кеше модификаторов.

Попробуйте очистить кеш JetCache.

 

[RuslanLight]

Уже сменил везде где только можно на новое название, даже в "кеше" опенкарта - в папке storage,
Удалил кеш JetCahce
При обновлении страницы в режиме инкогнито. на долю секунды проскакивает новое название, но тут же превращается в старое.
В браузере в норм режиме светится новое название.
Просто какая-то магия...

[Shureg]

8 часов назад, RuslanLight сказал:

Просто какая-то магия...

Не магия, а ява скрипт. Без ссылки на сайт разговор бесполезен

[RuslanLight]

Ребята отбой!
Огромнейшее спасибо за подсказку @Shureg оказалось все же это модуль Simple отвечает за эту кнопку, хотя я вроде как многократно проходил мимо этой настройки которая находится в настройках симплы: Заказ/Шаги и блоки в самом нижнем блоке

Вот же ж я лошара )

Змінено 14 січня 2021 користувачем RuslanLight

[i3bepb]

14 часов назад, RuslanLight сказал:

кеш модификаторов обновляю наверное чаще чем зубы чищу )))

 

)))