Необходимо ускорить сайт.

[Nightmare]

По моим припоминаниям, нагрузка увеличивалась после добавления описания к новым товарам (картинки, текст)

[chick]

1 минуту назад, Nightmare сказал:

но нагрузка без изменений: https://prnt.sc/mtqvkg

Смотрим SHOW PROCESSLIST

[Nightmare]

4 минуты назад, chick сказал:

Смотрим SHOW PROCESSLIST

ЭТО?

+-------+------------------+-----------+-----------+---------+------+----------------------+-----------------------------------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

----------------------------------------------------------------------------+----------+

| Id | User | Host | db | Command | Time | State | Info

 

| Progress |

+-------+------------------+-----------+-----------+---------+------+----------------------+-----------------------------------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

----------------------------------------------------------------------------+----------+

| 17053 | 046593822_apteka | localhost | apteka_63 | Query | 0 | init | SHOW FULL PROCESSLIST

| 0.000 |

| 17210 | 046593822_apteka | localhost | apteka_63 | Sleep | 4 | | NULL

| 0.000 |

| 17211 | 046593822_apteka | localhost | apteka_63 | Sleep | 9 | | NULL

 

| 0.000 |

| 17218 | 046593822_apteka | localhost | apteka_63 | Query | 0 | Copying to tmp table | select m.image,p.manufacturer_id,p.product_id,m.name as name from oc_product_to_category p2c

left join oc_product p on p.product_id=p2c.product_id

left join oc_manufacturer m on m.manufacturer_id=p.manufacturer_id

where p2c.category_id in (71,488,489,490,491,492,493,494,495,496,497,498,741,743,742,504,505,509,510,512,513,744,745,518,519,520,524,525,526,527,528,747,746,533,768,769,767,766,765,760,763,764,758,

757,756,754,755,753,751,752,750,567,568,569,570,571,572,573,574,748,749,578,762,761,584,585,586,587,588,589,590,759) and p.status=1 group by p.manufacturer_id | 0.000 |

| 17219 | 046593822_apteka | localhost | apteka_63 | Sleep | 5 | | NULL

| 0.000 |

| 17220 | 046593822_apteka | localhost | apteka_63 | Query | 0 | Copying to tmp table | select m.image,p.manufacturer_id,p.product_id,m.name as name from oc_product_to_category p2c

left join oc_product p on p.product_id=p2c.product_id

left join oc_manufacturer m on m.manufacturer_id=p.manufacturer_id

where p2c.category_id in (71,488,489,490,491,492,493,494,495,496,497,498,741,743,742,504,505,509,510,512,513,744,745,518,519,520,524,525,526,527,528,747,746,533,768,769,767,766,765,760,763,764,758,

757,756,754,755,753,751,752,750,567,568,569,570,571,572,573,574,748,749,578,762,761,584,585,586,587,588,589,590,759) and p.status=1 group by p.manufacturer_id | 0.000 |

| 17221 | 046593822_apteka | localhost | apteka_63 | Sleep | 4 | | NULL

 

| 0.000 |

| 17226 | 046593822_apteka | localhost | apteka_63 | Sleep | 0 | | NULL

| 0.000 |

| 17227 | 046593822_apteka | localhost | apteka_63 | Sleep | 1 | | NULL

| 0.000 |

+-------+------------------+-----------+-----------+---------+------+----------------------+-----------------------------------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

----------------------------------------------------------------------------+----------+

9 rows in set (0.00 sec)

[Nightmare]

в более читаемом виде:

https://prnt.sc/mtr0a7

[chick]

Sleep запросы вроде не должны нагружать особо.

Непонятен запрос со статусом "Writing to net"

Все. Чем мог помог. За остальным в гугл.

[Nightmare]

1 минуту назад, chick сказал:

Sleep запросы вроде не должны нагружать особо.

Непонятен запрос со статусом "Writing to net"

Все. Чем мог помог. За остальным в гугл.

и на том спасибо!

[Pavel666]

Только что, Nightmare сказал:

и на том спасибо!

напишите в поддержку vps, попробуйте уточнить что у дает нагрузку на бд

[100napb]

1 hour ago, Nightmare said:

Сайт ужасно глючит постоянно. Каждый час проводится обновление прайса, но проверяли - не связано.

сколько по времени и как длится процедура обновления прайса? как проверяли? почему сделали вывод, что не связано?

 

Может 20минут ежечасно это обновление прайса бомбит Вам myisam табличку с продуктами десятками тысяч апдейтов с соответствующими блокировками - это одно.

А может, несмотря на вменяемое железо, у Вас ужасно настроен сервер БД, без той же, например, low-priority-updates или с от балды проставленными буферами и прочими параметрами...

а еще может...

 

Лучше один раз увидеть, чем сто раз услышать. Если гадание не поможет, то с радостью готов буду посмотреть.

 

[markimax]

3 минуты назад, 100napb сказал:

сколько по времени и как длится процедура обновления прайса? как проверяли? почему сделали вывод, что не связано?

 

Мне тоже такой странный вывод о не влиянии каждый час апдейта 90k товарами из прайса.
Хотя конечно гадать на кофейной гуще тяжело

[Nightmare]

Прайсы обновляются за 2 минуты окончательно. И то это время на 2 прайса (сводный от поставщиков и то что в наличии). То что в наличии там за пол минуты все загружается. Сводный прайс за минуту. Причем по стате в это время нагрузок не добавляется.

Змінено 5 березня 2019 користувачем Nightmare

[Nightmare]

14 минут назад, 100napb сказал:

сколько по времени и как длится процедура обновления прайса? как проверяли? почему сделали вывод, что не связано?

 

Может 20минут ежечасно это обновление прайса бомбит Вам myisam табличку с продуктами десятками тысяч апдейтов с соответствующими блокировками - это одно.

А может, несмотря на вменяемое железо, у Вас ужасно настроен сервер БД, без той же, например, low-priority-updates или с от балды проставленными буферами и прочими параметрами...

а еще может...

 

Лучше один раз увидеть, чем сто раз услышать. Если гадание не поможет, то с радостью готов буду посмотреть.

 

Сервер vps от jino.ru, никак не настраивался в плане mysql. Добавлял только pagespeed.

[stickpro]

1 час назад, Nightmare сказал:

Сервер vps от jino.ru, никак не настраивался в плане mysql. Добавлял только pagespeed.

такого не может быть, vps на то и vps что вы сами настраиваете все конфиги

[Yoda]

6 часов назад, Nightmare сказал:

Сайт medpokupki.ru - Opencart Pro Версия 2.1.0.1.5

в номенклатуре около 90 тыс товаров, активных только 22. Сайт ужасно глючит постоянно. Каждый час проводится обновление прайса, но проверяли - не связано.

Сервер:

CPU	4 ядра × 2 ГГц
RAM	4096 МБ
Диск	60 ГБ
Образ	CentOS 7

Стата загрузки ЦП: https://prnt.sc/mtptt5

Стата загрузки оперативки: https://prnt.sc/mtpu4q

По Top - основная загруженность ЦП от Mysqld: https://prnt.sc/mtpuow

Стоит нитрокэш, мало выручает - Кэш страниц отключили, т.к. идет выгрузка в Яндекс.Маркет, если включен кэш страниц, то иногда выгружает неверное наличие товара. Страницы кэшируются что товар есть\нет - а по факту наоборот и яндекс.маркет влепляет критические ошибки изза этого.

 

Нитро, сессии, тупые запросы, много запросов, паразитные боты, некорректный роботс, динамические фиды, неправильная работа с кешем, права на папки, ошибки в логике модулей, внешние обращения, много изображений в одной папке, всякого рода у компрессоры на "на лету".

 

Это только малая часть того что бывает.

 

Ни один htop, atop, mytop никогда не покажет всех возможных проблем.

 

Только пошаговое профилирование и изучение логов.

[Nightmare]

3 часа назад, stickpro сказал:

такого не может быть, vps на то и vps что вы сами настраиваете все конфиги

Я ведь про то и говорю, что он никак не настраивался нами.

 

кто готов поработать над оптимизацией пишите предложения в ЛС

[Yoda]

48 минут назад, Nightmare сказал:

Я ведь про то и говорю, что он никак не настраивался нами.

 

кто готов поработать над оптимизацией пишите предложения в ЛС

 

20к товаров в вашем случае должны ходить строем как дети в школу на дефолтных настойках.

 

Комплексное решение вашего вопроса полдня делов. Но в ближайшую неделю ничем не смогу помочь.

[Yoda]

4 минуты назад, nikifalex сказал:

а почему никто не спросит какий там траффик на сайте?

Лично я, не вижу смысла в таком вопросе, так как у меня сервера с более слабыми параметрами спокойно отрабатывают до 40-50к pageview в день с огромным запасом ресурса и сотней онлайна в пике.

[Nightmare]

47 минут назад, nikifalex сказал:

а почему никто не спросит какий там траффик на сайте?

траффик 1-2к в день. одновременно до 20-25 человек. Такой сервер не должно грузить так сильно. VPS от Jino.ru - никто плохого ничего о них сказать не может?

[Yoda]

15 минут назад, Nightmare сказал:

траффик 1-2к в день. одновременно до 20-25 человек. Такой сервер не должно грузить так сильно. VPS от Jino.ru - никто плохого ничего о них сказать не может?

Джино не супер от слова совсем. Даже Фаст ВПС получше будут.

 

9 минут назад, nikifalex сказал:

тогда платите @Yoda за ускорение. Только требуйте чтоб все летало и надежно работало.

Занят я, дней десять точно.

 

И на требования чтобы все летало, есть всегда ответное предложение развернуть кластер с базами и отдельным web сервером.

 

Но едва ли за всю мою практику наберётся десяток случаев, когда требовался именно дедик, один случай, когда нужен был очень мощный дедик, чтобы держать овер 1к онлайна и один случай когда в силу специфики системы и необходимости её регулярного обновления, пришлось танцевать с бубном и строить отказоустойчивую площадку.

 

Во всех остальных случаях практически всегда удается найти баланс между стоимостью площадки, функционалом и набором используемых технологий. Не одним mysql мир живёт вобщем)))

[colaweb]

Я предлагаю нестандартное решение.

Сделать фронтенд на React, все будет летать.