пережати скриптом фото на сервері

[Shytyk_O]

проблема з пам'яттю на сервері, як завжди мало) 
з 200 гб десь приблизно 150гб займають фото товарів, хто може пережати оригінальні фото на сервері, і зменшити суттєво місце та налаштувати так, щоб коли зберігались нові фото автоматично теж, пережималось 

Змінено 20 липня 2024 користувачем Shytyk_O

[drOC]

Пережати це змінити розмір чи саме стиснення JPEG зменшивши якість?

 

Якщо стиснення то в одному рядку в коді це змінюється, після чого треба кеш видалити і дочекатись поки ті 150 Гб перекешуются самі.

Взагалі є модулі клінери, може варто просканувати зображення які не використовуються і видалити їх - може якийсь скрипт імпорту наплодив.

[Shytyk_O]

  В 21.07.2024 в 08:26, drOC сказав:

Пережати це змінити розмір чи саме стиснення JPEG зменшивши якість?

 

Якщо стиснення то в одному рядку в коді це змінюється, після чого треба кеш видалити і дочекатись поки ті 150 Гб перекешуются самі.

Взагалі є модулі клінери, може варто просканувати зображення які не використовуються і видалити їх - може якийсь скрипт імпорту наплодив.

Expand  

фотона сервері є  в форматі jpeg і jpg, варіюються від 30кб до 1мб
треба мабуть  саме стиснути, але тобі всі які більше 100 кб, чи я к правильно) Щоб зовсім мило не получилось

[drOC]

Я думаю вам не перетискати треба а почистити зображення без прив'язки.

 

Вони можуть заходити з імпорту і ніде не використовуватись.

Спробуйте пошукати модулі по клінингу, але не раджу без бекапів пускати авто-очищення.

 

Бо так ви зменшите якість зображень тільки, тут може краще розглянути перекодування кешу в webp якщо на те пішло.

[Shytyk_O]

  В 30.07.2024 в 13:21, drOC сказав:

Я думаю вам не перетискати треба а почистити зображення без прив'язки.

 

Вони можуть заходити з імпорту і ніде не використовуватись.

Спробуйте пошукати модулі по клінингу, але не раджу без бекапів пускати авто-очищення.

 

Бо так ви зменшите якість зображень тільки, тут може краще розглянути перекодування кешу в webp якщо на те пішло.

Expand  

вже налаштовано, все по феншую, на днях закінчилась пам'ять, видалили кешу на 100 гб, по трохи знову збирається , 
після очистки було 60% зараз 79% 
за два тижні 20% захавав кеш 

[Flint2000]

  В 01.08.2024 в 11:09, Shytyk_O сказав:

вже налаштовано, все по феншую, на днях закінчилась пам'ять, видалили кешу на 100 гб, по трохи знову збирається , 

Expand  

А хто вам такі "цікаві" рекомендації надає, чистити кеш зображень?

  

  В 20.07.2024 в 17:02, Shytyk_O сказав:

150гб займають фото товарів,

Expand  

Скільки товарів на сайті і по скільки фото в середньому має товар?

 

[Shytyk_O]

  В 01.08.2024 в 11:12, Flint2000 сказав:

А хто вам такі "цікаві" рекомендації надає, чистити кеш зображень?

Expand  

виходу не було, сервер був забитий, треба було щось видаляти 
А що не варто зображення чистити? 

[Shytyk_O]

  В 01.08.2024 в 11:14, Flint2000 сказав:

Скільки товарів на сайті і по скільки фото в середньому має товар?

Expand  

зараз 217 тис, 5-10 фото 

[Flint2000]

  В 01.08.2024 в 11:14, Shytyk_O сказав:

А що не варто зображення чистити? 

Expand  

ні, бо вони все одно будуть генеруватися, що кожного разу створюватиме велике навантаження на процесор і затримку з відкриттям сторінок

[Flint2000]

  В 01.08.2024 в 11:15, Shytyk_O сказав:

зараз 217 тис, 5-10 фото 

Expand  

а які розміри оригінальних фото завантажуєте?

[Shytyk_O]

  В 01.08.2024 в 11:19, Flint2000 сказав:

а які розміри оригінальних фото завантажуєте?

Expand  

фото на сервері є  в форматі jpeg і jpg, варіюються від 30кб до 1мб

[drOC]

Так, це тимчасове рішення ціною процесорного часу.

 

Якщо так, то думаю самий простий варіант це спробувати зменшити якість тут

(або краще всюди де ця функція передає атрибут quality або просто переписати цей атрибут у функції нижче, для тесту вистачить)

 

/system/library/image.php

 

public function save($file, int $quality = 90) { // зменшити quality

 

Або дійсно взяти максимальний розмір зображень зуму і зменшити якимось скриптом локально, потім перезалити на сервер.

[Flint2000]

  В 01.08.2024 в 11:25, Shytyk_O сказав:

до 1мб

Expand  

це дуже багато, ви що, не обробляєте фото перед додаванням? Чи у вас товари додаються автоматично?

[Flint2000]

  В 01.08.2024 в 11:27, drOC сказав:

Якщо так, то думаю самий простий варіант це спробувати зменшити якість тут (або всюди де ця функція передає атрибут quality - це теж треба чекнути)

 

Expand  

Та можна bash скриптом змінити розміри

[Shytyk_O]

  В 01.08.2024 в 11:27, Flint2000 сказав:

це дуже багато, ви що, не обробляєте фото перед додаванням? Чи у вас товари додаються автоматично?

Expand  

так, все автоматично через парсер 

[drOC]

Ну так і питав спочатку що схоже якись скрипт імпорту забиває.

 

Тут треба оптимізація цього скрипта бо все інше - не причини а наслідки. Ну і пережати / проклінити те що наплодив той скрипт вже.

Я чомусь впевнений що у вас там купа зображень без прив'язки. Типовий випадок для багатьох чудо-модулів. Писав вище.

[Shytyk_O]

  В 01.08.2024 в 11:34, drOC сказав:

Ну так і питав спочатку що схоже якись скрипт імпорту забиває.

 

Тут треба оптимізація цього скрипта бо все інше - не причини а наслідки. Ну і пережати / проклінити те що наплодив той скрипт вже.

Я чомусь впевнений що у вас там купа зображень без прив'язки. Типовий випадок для багатьох чудо-модулів. Писав вище.

Expand  

я розумію, але треба допомога, тому і звернувся, бо сам не встановлю  і не почищу модулями клінінгу) 
тому і написав сюди) щоб найти того хто шарить)))

Змінено 1 серпня 2024 користувачем Shytyk_O

[Flint2000]

@Shytyk_O спробуйте цей модуль купити і встановити, може дійсно у вас багато зображень які не використовуються. А вже потім дивитися у бік ресайзу інших. Також варто привести до одного значення розміри ресайзів зображень для категорій, preview та інших.

 

  В 01.08.2024 в 11:34, drOC сказав:

Тут треба оптимізація цього скрипта бо все інше - не причини а наслідки.

Expand  

Не думаю, що це варіант, швидкість парсера впаде в рази, тут краще кроном скрипт на сервері запускати

[Flint2000]

  В 01.08.2024 в 11:39, Shytyk_O сказав:

тому і написав сюди) щоб хтось допоміг) 

Expand  

киньте сайт та доступ до адмінки в особисті

[Shytyk_O]

  В 01.08.2024 в 11:40, Flint2000 сказав:

киньте сайт та доступ до адмінки в особисті

Expand  

ми запускаємо кроном, але тоді чомусь криво оновлюються дані, а вручну запускаю, тоді все гуд 

[Flint2000]

  В 01.08.2024 в 11:43, Shytyk_O сказав:

ми запускаємо кроном, але тоді чомусь криво оновлюються дані, а вручну запускаю, тоді все гуд 

Expand  

це не повинно залежати від того як запускається парсер

[Shytyk_O]

  В 01.08.2024 в 11:48, Flint2000 сказав:

це не повинно залежати від того як запускається парсер

Expand  

так, це або парсер криво працює, або ліміти на сервері
хоч ліміти і так високі 

[drOC]

  Quote

Не думаю, що це варіант, швидкість парсера впаде в рази, тут краще кроном скрипт на сервері запускати

Expand  

 

Я просто стикався з таким, що скрипт імпорту наплодив за два роки тільки щоденних дампів csv на 20 гб, не здивуюсь якщо те само й зображеннями. Опенкарт не видаляє зображення при видаленні товарів, ніяких тулзів чи алертів стосовно їх контролю застосування..

 

Головне щоб той платний клінер не повидаляв зображення із кастомних модулів, які він не підтримує з коробки.

[drOC]

Взагалі можна для зображень створити окремий статичний сервер / хмару, просто як варіант. Наприклад оригінали зберігаються з ФТП, а кеш на продакшн. Можна зробити щоб оригінали взагалі використовувались з оригінального сервера (якщо немає ймовірності їх видалення звідти).

 

З поточними швидкостями оптики можна дедікейтед вдома зробити на распбері, взяти диск на 1 Тб і не паритись.

 

Коротше поставте собі той клінер платний і подивіться що він видасть. Головне щоб не повісився на таких об'ємах.

В мене був перевірений модуль в закладках, але він виявився кацапським тому не ділюсь посиланням, інші нажаль ще не дослідив щоб порадити. Бажано щоб модуль клінінгу був з відкритим кодом (без іонкуб) тоді його можна допрацювати під свої потреби.

 

Я б нічого не ресайзив / не стискав (навпаки поставив якість 100%), просто поклінив би сміття і допиляв той модуль імпорту щоб заново мені їх не завантажував. Думаю скоріше за все більшу частину диску з'їдає саме тека з оригіналами а не кешем.

[Shytyk_O]

  В 01.08.2024 в 12:00, drOC сказав:

Взагалі можна для зображень створити окремий статичний сервер / хмару, просто як варіант. Наприклад оригінали зберігаються з ФТП, а кеш на продакшн. Можна зробити щоб оригінали взагалі використовувались з оригінального сервера (якщо немає ймовірності їх видалення звідти).

 

З поточними швидкостями оптики можна дедікейтед вдома зробити на распбері, взяти диск на 1 Тб і не паритись.

 

Коротше поставте собі той клінер платний і подивіться що він видасть. Головне щоб не повісився на таких об'ємах.

В мене був перевірений модуль в закладках, але він виявився кацапським тому не ділюсь посиланням, інші нажаль ще не дослідив щоб порадити. Бажано щоб модуль клінінгу був з відкритим кодом (без іонкуб) тоді його можна допрацювати під свої потреби.

 

Я б нічого не ресайзив / не стискав (навпаки поставив якість 100%), просто поклінив би сміття і допиляв той модуль імпорту щоб заново мені їх не завантажував. Думаю скоріше за все більшу частину диску з'їдає саме тека з оригіналами а не кешем.

Expand  

поки спробую встановити модуль що порекомендували, а далі вже по результату