Забивается сервер под 100%

[twezz]

Добрый вечер.

 

Помогите решить проблему. Место на выделенном сервере VPS забивается с неимоверной скоростью! Сайт после этого перестает работать. В панели администрирования сервера наблюдаются пики загрузки траффика и памяти. Какие нужно смотреть логи чтобы определить причины такой нагрузки? Могут ли какие-то модификаторы давать такую нагрузку? Варез на сайте никогда не использовался.

[Yoda]

3 минуты назад, twezz сказал:

Добрый вечер.

 

Помогите решить проблему. Место на выделенном сервере VPS забивается с неимоверной скоростью! Сайт после этого перестает работать. В панели администрирования сервера наблюдаются пики загрузки траффика и памяти. Какие нужно смотреть логи чтобы определить причины такой нагрузки? Могут ли какие-то модификаторы давать такую нагрузку? Варез на сайте никогда не использовался.

 

Кеш картинок, логи ошибок, кривые бекапы, кривой кеш.
Если кеш картинок - то единственный вариант расширять место на серванте.

Если все остальное решается.

 

И да - нагрузку тоже надо искать.

[twezz]

Я думал про кеш картинок, но как только я его чищу, в панели администрирования сервера наблюдается рост входящего трафика и рост загрузки памяти. Вот хотелось бы найти источник.

И вопрос по картинкам и места на сервере - достаточно ли 7-10 Гб под магазин с 10000 позиций?

[GreenDragon]

Посмотрите логи ошибок, не забит ли файл.

[Yoda]

2 минуты назад, twezz сказал:

Я думал про кеш картинок, но как только я его чищу, в панели администрирования сервера наблюдается рост входящего трафика и рост загрузки памяти. Вот хотелось бы найти источник.

И вопрос по картинкам и места на сервере - достаточно ли 7-10 Гб под магазин с 10000 позиций?

Места- мало!

И входящий трафик - совершенно логичный результат, так как боты переиндексируют регулярно статические ресурсы. А у вас когда кеша нету вместо них динамическая 404 страница, а так как скорее всего магазин у вас тупой - это 1.5-2 секунды загрузки. А кешированнных превьюшек у вас должно быть  на 10 000 позиций 40-50 000.
Вот к вам боты пришли, картинок нет. Пошли активно проверять а их совсем нет. Убили ваш сервер + забили лог ошибок если он у вас есть.

Кеш изображений без особой надобности чистить нельзя! А если почистили, надо пауком типа xenu экстренно пересоздавать.
Вобщем добавляейте место под кеш картинок. Если не поможет - приходите!

[twezz]

5 часов назад, greendragon сказал:

Посмотрите логи ошибок, не забит ли файл.

Если речь про лог ошибок, который в админке opencart, то да он тоже постоянно забивается и размерами более 50 мб становится.

[AlexDW]

смотреть за журналом ошибок

на нормально работающем сайте журнал ошибок должен быть: а) включен б) пуст

если не пуст - ошибки нужно устранять

[Yoda]

7 часов назад, twezz сказал:

Если речь про лог ошибок, который в админке opencart, то да он тоже постоянно забивается и размерами более 50 мб становится.

ну 50 мегабайт, это не 2-3 гигабайта. 
Так что вполне вероятно у вас вся проблема в нехватке места под кеш изображений.
Выход только один - добавлять место!

[twezz]

3 часа назад, Yoda сказал:

ну 50 мегабайт, это не 2-3 гигабайта. 
Так что вполне вероятно у вас вся проблема в нехватке места под кеш изображений.
Выход только один - добавлять место!

Как в воду глядели - теперь файл 1.4гб .

Место добавил. 

Но очень интересно узнать что создает такую нагрузку. Где мониторить основные ошибки на сервере или в админке?

[pimur]

1 минуту назад, twezz сказал:

Где мониторить основные ошибки на сервере или в админке?

Осмелюсь заметить, если задаете такие вопросы, то Вам нужен метод JOB в разделе услуг. Выбрав ответственного исполнителя с нормальным рейтингом, можно и к @Yoda обратиться или к @sitecreator

Подход к проблеме должен быть комплексным и без анализа специалиста в этой области, боюсь не разобраться Вам.

[Yoda]

26 минут назад, twezz сказал:

Как в воду глядели - теперь файл 1.4гб .

Место добавил. 

Но очень интересно узнать что создает такую нагрузку. Где мониторить основные ошибки на сервере или в админке?

 

Я ж не бабка-ведунья в воду глядеть.

все системные проблемы они достаточно утилитарны и однообразны. Это как меть ходить, если научились - потом все равно, в гору карабкаться или с горы бежать. 
 

В вашем случае надо искать не специалиста по настройке сервера, а специалиста, который вам устранит ошибки.
 

[Otvet]

1. уменьшаете ширину/высоту где не критично,

2. смотрите чтоб совпадал размер картинки и родительского блока, ато я видел сайты где в категории картинки вписаны в блоки в 2 раза меньше

3. понижаете качество до 70-80% в библиотеке, можно GD заменить на IM

4. минимизируете кол-во вариаций размеров, дабы меньше создавалось обрезков

 

как правило можно сэкономить так 20-60%

[twezz]

4 часа назад, pimur сказал:

Осмелюсь заметить, если задаете такие вопросы, то Вам нужен метод JOB в разделе услуг. Выбрав ответственного исполнителя с нормальным рейтингом, можно и к @Yoda обратиться или к @sitecreator

Подход к проблеме должен быть комплексным и без анализа специалиста в этой области, боюсь не разобраться Вам.

Спасибо. Наверное на текущий момент это самый нужный совет.

Спасибо всем за помощь. Пошел в раздел услуг.

[sitecreator]

32 минуты назад, Otvet сказал:

3. понижаете качество до 70-80% в библиотеке, можно GD заменить на IM

 

как вариант экономии пространства возможен.

 

Могу предложить поинтересней вариант. Само то, что нужно для VDS.  Экономия трафика и дискового пространства. Оформлено в виде модуля.

Автоматический выбор наилучшего алгоритма для сжатия исходя из установленного на сервере софта.

Для JPEG выбор алгоритма выглядит так:

 

GD >> imagick >> mozjpeg

 

разница  (между mozjpeg и imagick алгоритмами) получается такая:

 

 

Спойлер

 

 

 

 

[twezz]

По итогу создал тему

 

[twezz]

Сейчас посмотрел в логах cсайта очень много ошибок на permissions denied в папку system/library/cache/file.php 

Какие права должны быть установлены на папки в случае установки сайта на vds сервер? и кто владелец папки должен быть назначен?

[warezliker]

4 часа назад, twezz сказал:

Сейчас посмотрел в логах cсайта очень много ошибок на permissions denied в папку system/library/cache/file.php 

Какие права должны быть установлены на папки в случае установки сайта на vds сервер? и кто владелец папки должен быть назначен?

для опенкарт 2.х по идее 755 достаточно будет на system/storage (там кеш, логи и модификаторы, которые должны перезаписываться), владельцем должен быть акк, из-под которого крутится апач. Но могу ошибаться. Хотя если в лог файл оно у вас гадит, то права, как бы, должны быть. Права на папку с кешем изображений, судя по всему, есть, т.к. он у вас генерится.

В крайнем случае поставьте на эту папку 777, если не боевой сайт, потом исправите, как заработает все + нажмите на кнопку обновления модификаторов, почистите лог из админки и помониторьте, что будет

То, что это прям накинулись пауки поисковые индексировать сайт, все и сразу, я б не рассчитывал, может вас просто парсит (т.е. забирает информацию с сайта, там цены, картинки и т.д.) кто-то регулярно и надо забанить его нафиг по ИП и все. Поисковых роботов при нормальных раскладах еще хрен дождешься.

Кстати, если парсят + хотлинки себе на сайт ставят, то вообще огонь.

Можете кусок лога сюда дать небольшой, строк 10?

Если есть лог веб-сервера, то тоже кусок бы с него, только не от фонаря, а в момент пиковых загрузок.

Вам саму причину надо выяснить, а потом уже станут понятны узкие места. Увеличением мощности железа (читай, деньгами) проблему решить можно, конечно, но это неправильно

Змінено 15 серпня 2017 користувачем warezliker

[SergeTkach]

Вот столкнулся с ситуацией, когда у человека более 12 Гб места занимали потеряные изображения. И это были совсем не ресайзы, а те фото товаров, которые остались после удаления самих товаров + папка image/data от OpenCart 1.5, которая весит почти одинаково с папкой image/catalog. При этом у части товаров закреплены фото из папки data, а у части из каталог...

 

В общем, применил некоторые изменения на модуль и почистил все лишнее. Теперь сайт влезает в тариф, который в 2 раза дешевле