Серверная оптимизация OpenCart

[kikasso]

Постановка задачи:

оптимизировать клиентскую часть, для сайта с несколькими сотнями товаров, с использованием мультиязычности и SEO (генерация страницы не более 0,2с).

В качестве пациента для экспериментов был взят OpenCart 1.5.5.1 с дефолтной базой.

Для поиска узких мест начнём с профилирования, анализируем результаты загрузки главной страницы (в листинге и карточке товара получаются аналогичные результаты):

Как и ожидалось, почти половину времени тратиться на запросы к БД, вот и займемся этой частью, не будем экономить на спичках.

Простеньким скриптом собираем массив с данными выполнения запросов для анализа (ключами являются методы функций из которых делался запрос к БД, значениями кол-во таких запросов).

Видим, что точек вызова не так уж много - 15, но это не одинаковые запросы, для большинства повторений SQL код разный.

Править php код и SQL запросы, заниматься денормализацией БД не интересно, хочется более кастомного и простого решения с использованием кэша.

Основная проблема при его использовании - инвалидация, так:

по времени - сайт будет тормозить в момент обновления кэша

по событию - много правок в коде надо делать, не подходит...

зависимости? - легче движок переписать :)

Попробуем схитрить, записи в хэш таблице обновлять порциями не более N штук, по факту просмотра страницы, тем самым рассредоточив нагрузку. Время жизни тоже можно сделать разным, для разных типов данных (классифицируем по имени метода функции).

Хочется еще сократить кол-во запросов при обращение к кэшу, тэгирование излишне для нашей задачи, будем просто объединять в группы. Например: настройки, курсы валют, единицы измерения - то что от страницы к странице одинаково грузить пачкой, товары будут браться из кэша отдельно.

Приступаем к реализации идеи, кэш будем хранить в БД, для возможности реализации "хитростей", файлы не подойдут. Хэш таблица не станет узким местом, запросы по уникальному ключу будут быстрые, главное их кол-во сократить к минимуму.

Дальше кодим и получаем вот такой результат (время/количество запросов):

Может еще можно что то глобально ускорить? повторный профайл:

запросы к БД уступили лавру первенства, теперь нет особо нагруженных частей... закончили.

Результат устраивает, довольно потираем руки :).

Выводы:

Данное решение позволяет в 4-7 раз увеличить производительность сайта! Можно ещё экспериментировать с настройкой групп, времени жизни и размером порций обновления кэша (N).

Файлы выкладываю на gist.

Приветствуется конструктивная критика, пожелания и замечания.

Полезные ссылки по теме:

- клиентская оптимизация OpenCart

- Отладчик для OpenCart

- профилирование PHP кода

- Кеширование на клиенте и на сервере (ШРИ в Москве 2012)

Желаю всем быстрых сайтов!

Змінено 18 березня 2013 користувачем kikasso

[RGB]

Вы кажется забыли подключить файл статик.пхп

require_once(DIR_SYSTEM . 'library/static.php');

И еще забыли закрыть тег пхп в \system\library\static.php

И еще забыли в запросе к бд учесть, что не у всех префикс к базе - ос_

Но в итоге у меня все равно не заработало :-)

Notice: unserialize() [function.unserialize]: Error at offset 65531 of 65535 bytes in Z:\home\localhost\ocstore1521\system\database\mysql.php on line 95

Notice: Trying to get property of non-object in Z:\home\localhost\ocstore1521\index.php on line 70

Warning: Invalid argument supplied for foreach() in Z:\home\localhost\ocstore1521\index.php on line 70

Возможно дело в версии, хотя вообще странно, что вы взяли ту версию (1551), которую здесь почти никто не использует.

[kikasso]

Вы кажется забыли подключить файл статик.пхп

require_once(DIR_SYSTEM . 'library/static.php');

И еще забыли закрыть тег пхп в \system\library\static.php

И еще забыли в запросе к бд учесть, что не у всех префикс к базе - ос_

Но в итоге у меня все равно не заработало :-)

Возможно дело в версии, хотя вообще странно, что вы взяли ту версию (1551), которую здесь почти никто не использует.

выложенные файлы, не претендуют на пошаговую инструкцию :) (в выложенных файлах добавил комментарий в качестве памятки)

тег <?php не закрываю по привычке, сейчас это уже общепризнанный стандарт раздел PSR-1

OpenCart 1.5.5.1 - т.к. выбрал его для своего проекта, лучше всего подходил по требованиям из коробки

а какая у вас версия? в хэш таблицу что нибудь пишется?

[RGB]

1521

в таблице данные есть, с виду там все корректно, но на сайте кроме этих предупреждений перестали работать практически все модули, пропали картинки, пропал блок категорий, пропал фильтрпро, зато дебаггер показывает реальное уменьшение запросов до 1-2)

PS Поставил на 1541, завелось почти сразу, но заметил интересный баг - у меня там чистая сборка, и после добавления изменений из темы, перестали сохранятся настройки, т.е. ВООБЩЕ любые настройки, внесенные в админку, не сохраняются после нажатия кнопки сохранить. Если дропнуть таблицу кеша, то настройки начинают сохранятся. Такие дела :)

PPS Еще в админке нужно подключить static.php

[kikasso]

Вот и баги полезли)) Спасибо за помощь!

Проблему решаем отключением кэша для админки для этого:

- в файл \admin\config.php добавить строчку - define('IS_ADMIN', true);

- код формирования кэша обернуть в условие

if(!defined('IS_ADMIN')){
...
}

файлы на гист обновил

[RGB]

Посмотрел 4 страницы категории по 15 товаров (всего 60) - размер таблицы кеша увеличился до 316 кб, не сильно ли жирно это? У меня в магазине скоро будет 30К товаров, таблица соответственно перевалит за сотню мб, правильно? БД не упадет с такими размерами таблиц?)

[kikasso]

Поступили сигналы о несовместимости с некоторыми расширениями, для решения этой проблемы добавлено возможность отключать кэширование определённых моделей.

установкой в массиве конфигруции значения expire = false, это еще пригодится и для данных, которые по определению не нужно кэшировать.

Для грубой отладки, можно использовать в mysql.php две строчки

var_dump($method. ' ('. $caller[2]['line']. ')'); //вывод места откуда вызывается запрос
var_dump($sql);//текст запроса

[kikasso]

Посмотрел 4 страницы категории по 15 товаров (всего 60) - размер таблицы кеша увеличился до 316 кб, не сильно ли жирно это? У меня в магазине скоро будет 30К товаров, таблица соответственно перевалит за сотню мб, правильно? БД не упадет с такими размерами таблиц?)

решение делалось для сотен товаров, надо тестировать, можно попробовать настроить кэш только на ресурсоемкие запросы...

[bdenisska]

Посмотрел 4 страницы категории по 15 товаров (всего 60) - размер таблицы кеша увеличился до 316 кб, не сильно ли жирно это? У меня в магазине скоро будет 30К товаров, таблица соответственно перевалит за сотню мб, правильно? БД не упадет с такими размерами таблиц?)

решение делалось для сотен товаров, надо тестировать, можно попробовать настроить кэш только на ресурсоемкие запросы...

Здравствуйте, каким образом настроить кеширование только емких запросов?

[Vladzimir]

Интересует такой вопрос. Почему если отключить method, то кеш все равно пишется в БД? По логике вещей ведь кешировать нужно только то что разрешено. И хотелось бы понять причину по которой данное решение не совместимо с некоторыми дополнениями.

[kikasso]

к серверной оптимизации так же можно отнести, настройку HTTP заголовков Last-Modified и If-Modified-Since, это позволит снизить нагрузку на сервер и упростит жизнь поисковым ботам (ускорит индексацию). Подробнее что это такое и как готовить, уже обсуждалось на форуме

[yurets86]

kikasso, большое спасибо! Молодец, на maxystore 1.5.5.1 с товаром +/- 2тыс ускорение в 4 раза точно!!! 

[kikasso]

Решение кончено имеет право на жизнь, только в MySQL уже есть кэширование

И неразумно писать PHP-костыли, когда есть нативные вещи, которые работают эффективнее. И скорее всего уже защищено от тормозов при устаревании кэша. Надо лишь настроить сервер.

 

SQL-кэш к стати куда быстрее файлового работает, так как в нем заключена вся мощь СУБД.

 

Если вы свою теорию проверите на практике, поделитесь успехами - интересно как можно обойти кэширование запросов, например, содержимого корзины...? и ведь если выполнялось пол тысячи запросов к БД при обращении к странице, так пол тысячи выполняться и будет при включено MySQL кэше... да быстрее, но вопрос на сколько? поэтому очень интересна обоснованность фразы "неразумно писать PHP-костыли, когда есть нативные вещи, которые работают эффективнее"

 

Еще я бы фразу  Надо лишь настроить сервер - выделил жирным и перекрасил в красный цвет, т.к. для большинства актуально использование виртуального хостинга, что и у меня было в исходных данных к заданию, а это требование отсекает ваш теоретический вариант с MySQL кэшем.

 

За ссылку  на информацию по MySQL кэшу спасибо, первый раз слышу, никогда не использовал!

[kikasso]

@toporchillo нашел вашу статью по оптимизации SQL запросов в OpenCart 1.5.5.1, на которую вы ссылаетесь в этом топике. Там хорошее начало про высокие нагрузки, про беду теоретических споров... а вот самого главного, какой профит можно получить от проделанной работы, нет. Не понятно, то ли это экономия на спичках, то ли стоящая затея (и демо сайт чтобы посчупать, к сожалению не работает).

[kikasso]

А давайте вы произведете замеры. Пожалуй так будет справедливо. Тем более, что у вам прекрасные инструменты. Изменения описанные в статье внесены в актуальную сборку ocStore в оригинальном OpenCart их нет. OpenCart vs OcStore. Самому интересно в конкретных цифрах.

 

произведу, только если вы обоснуете фразу "неразумно писать PHP-костыли, когда есть нативные вещи, которые работают эффективнее", говоря что с встроенным кэшем в MySQL будет работать быстрее

вы со мной делитесь интересующей меня информацией, я вам помогаю с интересующими цифрами по производительности - вот так справедливо:)

[Vladzimir]

 

Также можно загружать данные не в цикле, а одним запросом. Нужно сначала собрать массив найденных product_id, а потом в запросе использовать условие p.product_id IN(...).

Оказалось что лучше 20 запросов на каждый товар нежели один.

Суммарное время выполнения по очереди 20 getProduct оказалось почти в 5 раз быстрее чем один запрос с p.product_id IN(...).

[freelancer]

ну что значит оказалось?

оказалось на вашей базе и вашей конфигурации. только и всего

[yurets86]

вылез баг с описанием, нету описания для товара по всему сайту

[kikasso]

Одна из причин в том, что кэш MySQL располагается преимущественно в памяти, а не в файлах, таблицах и т.п.

Использование Memcached будет не хуже, но сам Memcached занимает место в памяти, да и для общения с ним нужно выполнять дополнительные вычисления/преобразования данных. Что хранить в кэше, а что нет, MySQL определяет не только по времени устаревания кэша. Там учитывается и частота запросов, и трудоемкость. Таким образом MySQL хранит в кэше то, что оптимально там хранить, а не самое свежее.

Минус SQL-кэша в том, что запросы с NOW(), CURRENT_TIMESTAMP() и т.д. не кэшируются, UPDATE INSERT таблицы стирает связанный с таблицей кэш. Также ключ кэша формируются на основании всего запроса. И два запроса, отличающиеся на пробел MySQL посчитает разными и результаты второго из кэша не возьмет.

При помощи PHP можно обогнать MySQL-кэш, но для этого надо ключ делать не просто md5($sql), а что-то похитрее. Ну и кэшировать самые тяжелые и частые запросы.

 

Из этих рассуждений вы строите свои доводы? Не убедительно!

Как можно говорить об эффективности оптимизации не делая замеры?

Я хочу знать на сколько эффективнее вариант с MySQL кэшем, предложенный вами,  моего костыля? Вы сами пробовали использовать MySQL кэш для OpneCart? Вам не кажется что узким местом является количество запросов, а не их тяжесть? Вопрос остался открыт.

[freelancer]

Из этих рассуждений вы строите свои доводы? Не убедительно!

более того, помимо замеров должны нужно предоставить сами данные что бы у каждого была возможность проверить на своей конфигурации

[kikasso]

Мы пишем модули, пытаемся писать их оптимально, ориентируясь на некий сферический магазин в вакууме.

Конкретные базы серверы и т.д. оказываются тоже оторванными от реальности. Что касается предоставить данные, так я вам верю, чего вас проверять?

 

Конечно всегда много если: нельзя под себя настраивать MySQL, нельзя установить Memcache или Sphinx, объем памяти, диска.

Любое решение может подходить или не подходить. Я просто против велосипедов, которые вводят в заблуждение.

Вот это например что за решение? https://github.com/shaman/opencart-mysql-cache

kikasso, я писал: Что хранить в кэше, а что нет, MySQL определяет не только по времени устаревания кэша. Там учитывается и частота запросов, и трудоемкость.

 

Ваше решение прекрасно, великолепно, грандиозно, оно работает лучше всех, проверено на практике. Давайте остановимся на этом. У меня нет охоты спорить чье кунг-фу лучше. Я верю, что в комманде MySQL тоже не дураки.

 

я не претендую на универсальность своего решения, костыль не потому что я не знаю кошерные методики работы с кэшем, а исходя из исходных данных и задачи. И буду искренне рад если найдется лучшее решение. Я не спорю, а пытаюсь в более конструктивное русло перевести разговор.

Считаю что если человек говорит "неразумно писать PHP-костыли, когда есть нативные вещи, которые работают эффективнее" в топике с конкретной практикой по оптимизации OpenCart, то он должен уметь привести аргументы в пользу эффективности этого решения для данной задачи! А вы мои вопросы касающиеся эффективности OpеnCart и MySQL кэша упорно игнорируете.

Если не уверены, так и пишите что у вас есть предположение..., а не утверждая! Или вы сюда зашли чтобы свои услуги прорекламировать?

[kikasso]

1. Обратите внимание, что вы сами в этой теме сослались на тему с моими изысканиями. Так что пассаж о саморекламе оставьте при себе.

 

2. Я тоже писал, что любое решение неуниверсально - см. выше. В решении любой задачи есть хорошая практика и не очень. Не сочтите за намёк.

 

3. Давайте не будем писать про альтернативные варианты вообще, они же, о ужас, могут быть не верны. Что вы хотите от меня услышать, чтобы русло было конструктивным?

 

4. Вы будете сравнивать OpenCart и ocStore, или доводы в защиту MySQL Cache для вас опять неубедительны?

 

1. Теме уже пол года, а вы решили порассуждать о неразумности писать костыли и мощи СУБД, навеял на мысль про рекламу ваш комент выше...

Мы пишем модули, пытаемся писать их оптимально, ориентируясь на некий сферический магазин в вакууме...

 

2. У нас конкретная задача в топике для OpenCart я вам это и пытаюсь донести...

 

3. Скепсис не уместен, просто хочется знать верна ли ваша мысль в контексте данной темы:

 

...неразумно писать PHP-костыли, когда есть нативные вещи, которые работают эффективнее. И скорее всего уже защищено от тормозов при устаревании кэша. Надо лишь настроить сервер.

 

4. Не убедительны! Хочется узнать на сколько эффективнее вариант с MySQL кэшем для данной задачи, без вакуума? Вы сами пробовали использовать MySQL кэш для OpneCart? Вам не кажется что узким местом является количество запросов, а не их тяжесть?

[Vladzimir]

А почему до сих  пор не реализовано в опенкарте кеширование модуля, на уровне сгенерированного HTML?

У меня на одном боевом сайте после кеширования и оптимизации запросов узким местом стал именно рендинг модуля категорий.

Вот кстати и частичное решение https://github.com/DjinnS/opencart-Memcache-backend

Почему частичное? Да потому что, кто будет кешировать результат разбора данных, если все равно идет их сбор не зависимо от того есть ли кеш или нет.

[Vladzimir]

Решение кеширования отдельного модуля на уровне сгенерированного HTML.

В контроллере модуля.

Сразу же после protected function index() {

Вставляем

        $key = "ЗДЕСЬ_ДОЛЖЕН_БЫТЬ_УНИКАЛЬНЫЙ_КЛЮЧ";// Ключ зависит от модуля
            
        $render_data = $this->cache->get( $key );
        if ( !$render_data )
        {

и в самом конце вызова функции заменяем $this->render() на

            $this->cache->set( $key, $this->render() );
        }
        else
        {
            $this->output = $render_data;
        }

Все.

[freelancer]

$key = "ЗДЕСЬ_ДОЛЖЕН_БЫТЬ_УНИКАЛЬНЫЙ_КЛЮЧ";// Ключ зависит от модуля

да не только от модуля.. вот например модуль вывода категорий использует параметр path для рендеринга.

т.е. нужен метод в каждом модуле который будет возвращать этот ключ исходя из состояния.

А почему до сих пор не реализовано в опенкарте кеширование модуля, на уровне сгенерированного HTML?

У меня на одном боевом сайте после кеширования и оптимизации запросов узким местом стал именно рендинг модуля категорий.

а вот это простите полный бред, сам рендеринг занимает сотые или даже тысячные секунды.

все тормоза в базе