Ускорение дедика и ОС2

[tdslava]

Имеем сайт slava.su с посещалкой ползущей к 2к уников в сутки, 12к активного товара и 76к с архивными. 

Выделенный сервер Core i7-6700 4.0ГГц (4 ядра) / 16Гб RAM / 2х1000Гб SATA

Debian 3.16. Apache 2.4  модуль Apache PHP 7.0.32

 

OcStore 2.1 с массой доработок.

Фильтр brainy и море всяких модулей.

Недавно включили webp и оптимизацию от sitecreator. Есть улучшения, но не кардинальные. 

 

Беспокоит скорость загрузки, в частности высокий TTFB в товарных категориях

В php,mysql и юникс кое-что понимаю, помогу разобраться в истории разработки, что и зачем было сделано, что можно заменить/удалить/полечить/не трогать.

 

Готовы нормально заплатить. Предпочтительно по договору с юрлицом/ИП/самозанятым в РФ

[stickpro]

а что автор модуля оптимизации говорит?

[Vladzimir]

21 минуту назад, tdslava сказал:

Имеем сайт slava.su с посещалкой ползущей к 2к уников в сутки, 12к активного товара и 76к с архивными. 

Выделенный сервер Core i7-6700 4.0ГГц (4 ядра) / 16Гб RAM / 2х1000Гб SATA

Debian 3.16. Apache 2.4  модуль Apache PHP 7.0.32

 

OcStore 2.1 с массой доработок.

Фильтр brainy и море всяких модулей.

Недавно включили webp и оптимизацию от sitecreator. Есть улучшения, но не кардинальные. 

 

Беспокоит скорость загрузки, в частности высокий TTFB в товарных категориях

В php,mysql и юникс кое-что понимаю, помогу разобраться в истории разработки, что и зачем было сделано, что можно заменить/удалить/полечить/не трогать.

 

Готовы нормально заплатить. Предпочтительно по договору с юрлицом/ИП/самозанятым в РФ

Для начала забаньте Ahrefs и подобные боты.

И смените диски на NVMe, ну или хотя бы базу на них перенесите

Прогоните настройки мускуля через mysqltuner

[tdslava]

4 минуты назад, stickpro сказал:

а что автор модуля оптимизации говорит?

что сделал стандартный набор оптимизации - сжатие скриптов и стилей, тюнинг загрузки скриптов.

Работа других модулей практически не затрагивалась, сервер не настраивался (кроме включения сжатия и кеширования в ispmanager)

[Vladzimir]

4 минуты назад, tdslava сказал:

что сделал стандартный набор оптимизации - сжатие скриптов и стилей, тюнинг загрузки скриптов.

Работа других модулей практически не затрагивалась, сервер не настраивался (кроме включения сжатия и кеширования в ispmanager)

+ Nginx для отдачи статики.

Скрипты и стили жать лучше им

[stickpro]

7 минут назад, tdslava сказал:

что сделал стандартный набор оптимизации - сжатие скриптов и стилей, тюнинг загрузки скриптов.

Работа других модулей практически не затрагивалась, сервер не настраивался (кроме включения сжатия и кеширования в ispmanager)

так автор же вроде обещает золотые горы, получается модуль опять 'не мог'

[tdslava]

5 минут назад, Vladzimir сказал:

Для начала забаньте Ahrefs и подобные боты.

 

как это поможет? Проблем с нагрузкой пока нет, есть медленная (относительно) загрузка товарной категории даже при низкой нагрузке

 

7 минут назад, Vladzimir сказал:

И смените диски на NVMe, ну или хотя бы базу на них перенесите

 

SSD или сильно меньше по объему и к ним нужно еще большой бекап диск брать, либо с тем же терабайтом цена хостинга в 1,5 раза вырастет.
Файлы занимают более 500Гб и регулярно резко вырастают логи.

 

10 минут назад, Vladzimir сказал:

Прогоните настройки мускуля через mysqltuner

какие-то настройки неоднократно делали.
Думается, нужно копать глубже и такими поверхностными мерами не обойтись. 
Например, не так давно отследил источник часто возникающих медленных запросов и снес модуль "похожих товаров". Лучше пока совсем без него. Как понимаете, mysqltuner не спас бы от постоянно действующего генератора монструозных запросов.

[Vladzimir]

1 минуту назад, stickpro сказал:

так автор же вроде обещает золотые горы, получается модуль опять 'не мог'

У вас оптимизация с не того места началась.

"Бутылочное горлышко" в вашей системе это диски и апач. Затем 100% mysql.

Ведь у вас проблема именно в TTFB.

[stickpro]

1 минуту назад, tdslava сказал:

SSD или сильно меньше по объему и к ним нужно еще большой бекап диск брать, либо с тем же терабайтом цена хостинга в 1,5 раза вырастет.
Файлы занимают более 500Гб и регулярно резко вырастают логи.

вы храните бэкапы на продакшене?) умно) вынесете код в гит, статику и бэкапы на s3  за 14тб я плачу в районе 8$, а диски реально нужно сменить на ssd

[Vladzimir]

6 минут назад, tdslava сказал:

 

как это поможет? Проблем с нагрузкой пока нет, есть медленная (относительно) загрузка товарной категории даже при низкой нагрузке

 

 

SSD или сильно меньше по объему и к ним нужно еще большой бекап диск брать, либо с тем же терабайтом цена хостинга в 1,5 раза вырастет.
Файлы занимают более 500Гб и регулярно резко вырастают логи.

 

какие-то настройки неоднократно делали.
Думается, нужно копать глубже и такими поверхностными мерами не обойтись. 
Например, не так давно отследил источник часто возникающих медленных запросов и снес модуль "похожих товаров". Лучше пока совсем без него. Как понимаете, mysqltuner не спас бы от постоянно действующего генератора монструозных запросов.

Вам шашечки или ехать?

На SATA вы далеко не уедите.

И все SSD меньше всего в 2 раза.

 

[tdslava]

4 минуты назад, stickpro сказал:

так автор же вроде обещает золотые горы, получается модуль опять 'не мог'

 

10-20 пунктов в PageSpeed Insights добавил. Если о цене, то услуга сразу окупилась, тут претензий нет.

[Vladzimir]

2 минуты назад, tdslava сказал:

 

10-20 пунктов в PageSpeed Insights добавил. Если о цене, то услуга сразу окупилась, тут претензий нет.

PageSpeed Insights к оптимизации сервера не имеет ни малейшего отношения.

Это очередные попугаи.

[tdslava]

13 минут назад, Vladzimir сказал:

PageSpeed Insights к оптимизации сервера не имеет ни малейшего отношения.

Это очередные попугаи.

так понимаю, гугл на него смотрит. Траф из гугла подрос.

Есть и  другие тесты, скорость загрузки и по ним и субъективно подросла

[Vladzimir]

3 минуты назад, tdslava сказал:

так понимаю, гугл на него смотрит. Траф из гугла подрос.

Есть и  другие тесты, скорость загрузки и по ним и субъективно подросла

Но вы не то оптимизируете. У вас первый байт долго отдается. От этого и попугаи страдают и ваши продажи.

[tdslava]

Так понимаю, есть четыре уровня:

1) железо
2) настройки сервера/апача/mysql

3) настройки движка/модулей

4) настройки шаблона/сжатий и оптимизаций изображений, стилей и скриптов

 

1 - мне заниматься вместе с техподдержкой хостинга
4 - готово и не потребует доработок 
 

Помочь с 2 и 3 есть желающие?

[Vladzimir]

4 минуты назад, tdslava сказал:

Так понимаю, есть четыре уровня:

1) железо
2) настройки сервера/апача/mysql

3) настройки движка/модулей

4) настройки шаблона/сжатий и оптимизаций изображений, стилей и скриптов

 

1 - мне заниматься вместе с техподдержкой хостинга
4 - готово и не потребует доработок 
 

Помочь с 2 и 3 есть желающие?

По хорошему вам лучше взять новый сервер, и установить на него новое окружения с нуля.

[buslikdrev]

1 час назад, tdslava сказал:

10-20 пунктов в PageSpeed Insights добавил. Если о цене, то услуга сразу окупилась, тут претензий нет.

Я сделал анализ одного сайта, за пол года в зелёной зоне (была красная) для мобильных устройств - посещаемость и клики не увеличились - то есть были в среднем значении без изменений.

[tdslava]

34 минуты назад, Vladzimir сказал:

По хорошему вам лучше взять новый сервер, и установить на него новое окружения с нуля.

 

Ок, во сколько вы оцениваете эту задачу и как оцениваете отдачу?

Насколько SSD ускорит сайт?

Потрачу уйму времени продумывая как сократить файлы и уместить все 500 Гб SSD, подключив еще 500 под бекапы (+1500 в месяц), как правильно настроить ротацию логов чтобы внезапный проход бота в поисках старых картинок не раздул лог на оставшиеся на диске 20 гигов, боятся загружать новый фото-видео контент, так как места мало.

Заново настроить окружение, заплатить за это энную сумму. А потом окажется, что выигрыш 5-10% производительности. И советчик скажет "хм, значит, узкое место не здесь, давайте поищем где-то еще..."

 

1 час назад, stickpro сказал:

вы храните бэкапы на продакшене?) умно) вынесете код в гит, статику и бэкапы на s3  за 14тб я плачу в районе 8$, а диски реально нужно сменить на ssd

 

раз в полтора года вылетает один диск из рейда, ночью его меняют и потом полдня идет пересинхронизация рейда с тормозами сайта. Против 1500*12=18000 доп.расхода на в год на бекапдиск. Нуууу, сравнимые убытки. Подумаю

Код в гит как раз перенесли.
Можно хотя бы приблизительно оценить что дает переход на SSD в числах?

[stickpro]

6 минут назад, tdslava сказал:

Против 1500*12=18000 доп.расхода на в год на бекапдиск.

Не думаю, что у вас статики больше чем на 1тб, вы не правильно считаете ресурсы

[Vladzimir]

51 минуту назад, tdslava сказал:

 

Ок, во сколько вы оцениваете эту задачу и как оцениваете отдачу?

Насколько SSD ускорит сайт?

Потрачу уйму времени продумывая как сократить файлы и уместить все 500 Гб SSD, подключив еще 500 под бекапы (+1500 в месяц), как правильно настроить ротацию логов чтобы внезапный проход бота в поисках старых картинок не раздул лог на оставшиеся на диске 20 гигов, боятся загружать новый фото-видео контент, так как места мало.

Заново настроить окружение, заплатить за это энную сумму. А потом окажется, что выигрыш 5-10% производительности. И советчик скажет "хм, значит, узкое место не здесь, давайте поищем где-то еще..."

1) NVMe в 2-3 раза быстрее SSD, SSD в 2-3 раза быстрее SATA

2) Если у вас логи картинок занимают много места, то зачем тогда вы их храните?

3) Если статику начнете отдавать через NGINX вы существенно освободите ресурсы для того же мускуля

4) С нуля, чтоб не заниматься апгрейдами. Поставили сразу php 7.2, мускуль посвежее

5) Сервера под бекапы стоят копейки.  1Тб до 17 у.е. https://zomro.com/storage.html

[Yoda]

Друзья. Не стоит тут пытаться помочь. Человек пришел ко мне утром. И вместо дружище, у меня проблемы, поработаем, начал нести какую-то дичье про дартаньяна, мое отношение к разработчикам и требовать контакты моих друзей, зачем-то, после того, как стало ясно что тут бесконтактный зоопарк в голове. Просто проходите мимо. Пусть он дальше верит в святого марка и сайт криатора. Вот пожалуйста давайте героям позволим проявить себя...

[Yoda]

Только что, Yoda сказал:

Друзья. Не стоит тут пытаться помочь. Человек пришел ко мне утром. И вместо дружище, у меня проблемы, поработаем, начал нести какую-то дичь про дартаньяна и договор, хорошо сделку с дьяволом кровью не попросил подписать. Нес какой-то бред про мое отношение к разработчикам, пытался как девку разводить на слабо и всё в таком духе. А также требовал контакты моих друзей, зачем-то, после того, как стало ясно что тут бесконтактный зоопарк в голове. Просто проходите мимо. Пусть он дальше верит в святого марка и сайт криатора. Вот пожалуйста давайте героям позволим проявить себя...

 

[tdslava]

4 часа назад, Vladzimir сказал:

NVMe в 2-3 раза быстрее SSD, SSD в 2-3 раза быстрее SATA

это не значит, что сайт ускорится во столько раз. Полагаю, часть движка висит в оперативке, а если статика чуть дольше будет грузится - не существенно.

 

4 часа назад, Vladzimir сказал:

Если у вас логи картинок занимают много места, то зачем тогда вы их храните?

много занимают картинки. За ними обращаются боты, их может уже не быть, сообщение падает в лог ошибок апача. За 2 недели error.log может вырасти до 40Гб

 

5 часов назад, Vladzimir сказал:

Если статику начнете отдавать через NGINX вы существенно освободите ресурсы для того же мускуля

тут ничего не могу сказать, не знаю. Почти вся нагрузка на мускул - отборы товара по фильтрам. 

 

5 часов назад, Vladzimir сказал:

С нуля, чтоб не заниматься апгрейдами. Поставили сразу php 7.2, мускуль посвежее

куча закубленых модулей под PHP 7.0 придется менять на версии под PHP 7.2

Когда переходили с 5.6 на семерку, отказались от 7.2 по причине проблем совместимости, к 7.0 адаптировать оказалось проще.
Ниуи не факт, что с нуля окажется лучше - еще много тюнинга понадобится. Но зачем?

 

5 часов назад, Vladzimir сказал:

Сервера под бекапы стоят копейки.

Ок, изучу. Смотрел что мой хостинг предлагает и у него 500Гб - 17 USD/месяц

[tdslava]

26 минут назад, Yoda сказал:

Друзья. Не стоит тут пытаться помочь. Человек пришел ко мне утром. И вместо дружище, у меня проблемы, поработаем, начал нести какую-то дичье про дартаньяна, мое отношение к разработчикам и требовать контакты моих друзей, зачем-то, после того, как стало ясно что тут бесконтактный зоопарк в голове. Просто проходите мимо. Пусть он дальше верит в святого марка и сайт криатора. Вот пожалуйста давайте героям позволим проявить себя...

 

Да, я позволил себе сделать замечание, что восхваление себя поливая грязью других - вызывает неприязнь. Как бы я не восхищался темами затронутыми в блоге - и поиск через сфинкс интересен, и интригует переход с модуля апач на php-pfm (наверно есть резон? читал что родной модуль быстрее), и оптимизация запросов - то, что надо, но эти метания "камней" в адрес других разрабов меня опечалили. Хоть я и сталкивался с их эго и качеством кода на практике, тоже имею определенные претензии, но это перебор.
Поэтому и предложил работу, но с условием оградить от подобного выноса мозга. Уже имел подобный опыт. 

На предложенный "заградительный" размер оплаты я согласился, по договору.

Но получил отказ. По той причине что ругать других священное право или из-за договора - ответа не было. 

[markimax]

В 23.10.2020 в 22:30, Yoda сказал:

он дальше верит в святого марка и сайт криатора.

Достал уже...
У меня времени нет заниматься этой ...[censored]
Но реально достал всё ru сообщество opencart

Нет, надо верить в the yonda на bbs и виноваты "попередники"
Твои костыли я как то озвучу, они шедевральны. Приготовьтесь. Там даже не до смеха(да есть даже как тебя искали месяцами и как ты за 150$ только изменил буферы MySQL и даже не отвечал заказчикам месяцами).  Там есть мне что рассказывать. практически все разрабы это видели и знают. Да все. А ты что думаешь я "забыл" про тебя. Нет дарагой. Просто времени нет на такое.. [censored]
Если ты думаешь всех поливать здесь грязью безответно то ты ошибаешься. Я не отвечал на твою чушь просто потому что времени не хватает на демагогию с ****************  (ув. администрация (гипотетически))
Уже перенес свой говноблог сюда, вонять г.. начало  на форуме. И кстати шантажировать (в своем стиле) администрацию. (про 500к все читали (что кстати было не законно и это отдельная тема), и уже все знают, ведешь себя как (ув. администрация (гипотетически)) шантажист и сталкер - коим ты ми являешься (ув. администрация (гипотетически)) , как какой то нарцисс (ув. администрация (гипотетически)) )
Превратил (ув. администрация (гипотетически)) сообщество нормальных разрабов  в полное г... (ты решил уничтожить форум в угоду себе, своими говно амбициям? Риторический вопрос)
Напомню тебе - тебя еще давно забанили, а в отместку ты "открыл" свой г.. форум (который почил в неизвестность)  и начал в конкуренцию "вводить" свое г.. под названием opencart.pro. И да это было сделано специально в отместку на бан тебя форумом.
Тебе не хватает денег - так сделай что нибудь, а не попрошайничай в чужих темах, как конкурент, которому на хлеб не хватает. Смотрю у тебя времени очень много писать чушь разную, в которой ты ноль. Тебе денег не хватает?!
Парни давайте сбросимся йонде на "учебники". Читать хабр он уже научился. Но вот азы мат части как то не складываются у него
Модуль сделай хоть один, при этом не укравши чужой код или идею (и да skype есть дедуля и он хранит переписку ), а потом "рассказывай" остальным.
Типичный "персонаж" эффекта Даннинга — Крюгера (ув. администрация (гипотетически))

https://ru.wikipedia.org/wiki/Эффект_Даннинга_—_Крюгера

 

Ув. администрация всё высказанное мною гипотетически и не имеет отношения ни каким "персонажам"