пережати скриптом фото на сервері

[Shytyk_O]

проблема з пам'яттю на сервері, як завжди мало) 
з 200 гб десь приблизно 150гб займають фото товарів, хто може пережати оригінальні фото на сервері, і зменшити суттєво місце та налаштувати так, щоб коли зберігались нові фото автоматично теж, пережималось 

Змінено 20 липня користувачем Shytyk_O

[drOC]

Пережати це змінити розмір чи саме стиснення JPEG зменшивши якість?

 

Якщо стиснення то в одному рядку в коді це змінюється, після чого треба кеш видалити і дочекатись поки ті 150 Гб перекешуются самі.

Взагалі є модулі клінери, може варто просканувати зображення які не використовуються і видалити їх - може якийсь скрипт імпорту наплодив.

[Shytyk_O]

21.07.2024 в 11:26, drOC сказал:

Пережати це змінити розмір чи саме стиснення JPEG зменшивши якість?

 

Якщо стиснення то в одному рядку в коді це змінюється, після чого треба кеш видалити і дочекатись поки ті 150 Гб перекешуются самі.

Взагалі є модулі клінери, може варто просканувати зображення які не використовуються і видалити їх - може якийсь скрипт імпорту наплодив.

фотона сервері є  в форматі jpeg і jpg, варіюються від 30кб до 1мб
треба мабуть  саме стиснути, але тобі всі які більше 100 кб, чи я к правильно) Щоб зовсім мило не получилось

[drOC]

Я думаю вам не перетискати треба а почистити зображення без прив'язки.

 

Вони можуть заходити з імпорту і ніде не використовуватись.

Спробуйте пошукати модулі по клінингу, але не раджу без бекапів пускати авто-очищення.

 

Бо так ви зменшите якість зображень тільки, тут може краще розглянути перекодування кешу в webp якщо на те пішло.

[Shytyk_O]

30.07.2024 в 16:21, drOC сказал:

Я думаю вам не перетискати треба а почистити зображення без прив'язки.

 

Вони можуть заходити з імпорту і ніде не використовуватись.

Спробуйте пошукати модулі по клінингу, але не раджу без бекапів пускати авто-очищення.

 

Бо так ви зменшите якість зображень тільки, тут може краще розглянути перекодування кешу в webp якщо на те пішло.

вже налаштовано, все по феншую, на днях закінчилась пам'ять, видалили кешу на 100 гб, по трохи знову збирається , 
після очистки було 60% зараз 79% 
за два тижні 20% захавав кеш 

[Flint2000]

В 01.08.2024 в 14:09, Shytyk_O сказав:

вже налаштовано, все по феншую, на днях закінчилась пам'ять, видалили кешу на 100 гб, по трохи знову збирається , 

А хто вам такі "цікаві" рекомендації надає, чистити кеш зображень?

  

В 20.07.2024 в 20:02, Shytyk_O сказав:

150гб займають фото товарів,

Скільки товарів на сайті і по скільки фото в середньому має товар?

 

[Shytyk_O]

01.08.2024 в 14:12, Flint2000 сказал:

А хто вам такі "цікаві" рекомендації надає, чистити кеш зображень?

виходу не було, сервер був забитий, треба було щось видаляти 
А що не варто зображення чистити? 

[Shytyk_O]

01.08.2024 в 14:14, Flint2000 сказал:

Скільки товарів на сайті і по скільки фото в середньому має товар?

зараз 217 тис, 5-10 фото 

[Flint2000]

В 01.08.2024 в 14:14, Shytyk_O сказав:

А що не варто зображення чистити? 

ні, бо вони все одно будуть генеруватися, що кожного разу створюватиме велике навантаження на процесор і затримку з відкриттям сторінок

[Flint2000]

В 01.08.2024 в 14:15, Shytyk_O сказав:

зараз 217 тис, 5-10 фото 

а які розміри оригінальних фото завантажуєте?

[Shytyk_O]

01.08.2024 в 14:19, Flint2000 сказал:

а які розміри оригінальних фото завантажуєте?

фото на сервері є  в форматі jpeg і jpg, варіюються від 30кб до 1мб

[drOC]

Так, це тимчасове рішення ціною процесорного часу.

 

Якщо так, то думаю самий простий варіант це спробувати зменшити якість тут

(або краще всюди де ця функція передає атрибут quality або просто переписати цей атрибут у функції нижче, для тесту вистачить)

 

/system/library/image.php

 

public function save($file, int $quality = 90) { // зменшити quality

 

Або дійсно взяти максимальний розмір зображень зуму і зменшити якимось скриптом локально, потім перезалити на сервер.

[Flint2000]

В 01.08.2024 в 14:25, Shytyk_O сказав:

до 1мб

це дуже багато, ви що, не обробляєте фото перед додаванням? Чи у вас товари додаються автоматично?

[Flint2000]

В 01.08.2024 в 14:27, drOC сказав:

Якщо так, то думаю самий простий варіант це спробувати зменшити якість тут (або всюди де ця функція передає атрибут quality - це теж треба чекнути)

 

Та можна bash скриптом змінити розміри

[Shytyk_O]

01.08.2024 в 14:27, Flint2000 сказал:

це дуже багато, ви що, не обробляєте фото перед додаванням? Чи у вас товари додаються автоматично?

так, все автоматично через парсер 

[drOC]

Ну так і питав спочатку що схоже якись скрипт імпорту забиває.

 

Тут треба оптимізація цього скрипта бо все інше - не причини а наслідки. Ну і пережати / проклінити те що наплодив той скрипт вже.

Я чомусь впевнений що у вас там купа зображень без прив'язки. Типовий випадок для багатьох чудо-модулів. Писав вище.

[Shytyk_O]

01.08.2024 в 14:34, drOC сказал:

Ну так і питав спочатку що схоже якись скрипт імпорту забиває.

 

Тут треба оптимізація цього скрипта бо все інше - не причини а наслідки. Ну і пережати / проклінити те що наплодив той скрипт вже.

Я чомусь впевнений що у вас там купа зображень без прив'язки. Типовий випадок для багатьох чудо-модулів. Писав вище.

я розумію, але треба допомога, тому і звернувся, бо сам не встановлю  і не почищу модулями клінінгу) 
тому і написав сюди) щоб найти того хто шарить)))

Змінено 1 серпня користувачем Shytyk_O

[Flint2000]

@Shytyk_O спробуйте цей модуль купити і встановити, може дійсно у вас багато зображень які не використовуються. А вже потім дивитися у бік ресайзу інших. Також варто привести до одного значення розміри ресайзів зображень для категорій, preview та інших.

 

В 01.08.2024 в 14:34, drOC сказав:

Тут треба оптимізація цього скрипта бо все інше - не причини а наслідки.

Не думаю, що це варіант, швидкість парсера впаде в рази, тут краще кроном скрипт на сервері запускати

[Flint2000]

В 01.08.2024 в 14:39, Shytyk_O сказав:

тому і написав сюди) щоб хтось допоміг) 

киньте сайт та доступ до адмінки в особисті

[Shytyk_O]

01.08.2024 в 14:40, Flint2000 сказал:

киньте сайт та доступ до адмінки в особисті

ми запускаємо кроном, але тоді чомусь криво оновлюються дані, а вручну запускаю, тоді все гуд 

[Flint2000]

В 01.08.2024 в 14:43, Shytyk_O сказав:

ми запускаємо кроном, але тоді чомусь криво оновлюються дані, а вручну запускаю, тоді все гуд 

це не повинно залежати від того як запускається парсер

[Shytyk_O]

01.08.2024 в 14:48, Flint2000 сказал:

це не повинно залежати від того як запускається парсер

так, це або парсер криво працює, або ліміти на сервері
хоч ліміти і так високі 

[drOC]

Quote

Не думаю, що це варіант, швидкість парсера впаде в рази, тут краще кроном скрипт на сервері запускати

 

Я просто стикався з таким, що скрипт імпорту наплодив за два роки тільки щоденних дампів csv на 20 гб, не здивуюсь якщо те само й зображеннями. Опенкарт не видаляє зображення при видаленні товарів, ніяких тулзів чи алертів стосовно їх контролю застосування..

 

Головне щоб той платний клінер не повидаляв зображення із кастомних модулів, які він не підтримує з коробки.

[drOC]

Взагалі можна для зображень створити окремий статичний сервер / хмару, просто як варіант. Наприклад оригінали зберігаються з ФТП, а кеш на продакшн. Можна зробити щоб оригінали взагалі використовувались з оригінального сервера (якщо немає ймовірності їх видалення звідти).

 

З поточними швидкостями оптики можна дедікейтед вдома зробити на распбері, взяти диск на 1 Тб і не паритись.

 

Коротше поставте собі той клінер платний і подивіться що він видасть. Головне щоб не повісився на таких об'ємах.

В мене був перевірений модуль в закладках, але він виявився кацапським тому не ділюсь посиланням, інші нажаль ще не дослідив щоб порадити. Бажано щоб модуль клінінгу був з відкритим кодом (без іонкуб) тоді його можна допрацювати під свої потреби.

 

Я б нічого не ресайзив / не стискав (навпаки поставив якість 100%), просто поклінив би сміття і допиляв той модуль імпорту щоб заново мені їх не завантажував. Думаю скоріше за все більшу частину диску з'їдає саме тека з оригіналами а не кешем.

[Shytyk_O]

01.08.2024 в 15:00, drOC сказал:

Взагалі можна для зображень створити окремий статичний сервер / хмару, просто як варіант. Наприклад оригінали зберігаються з ФТП, а кеш на продакшн. Можна зробити щоб оригінали взагалі використовувались з оригінального сервера (якщо немає ймовірності їх видалення звідти).

 

З поточними швидкостями оптики можна дедікейтед вдома зробити на распбері, взяти диск на 1 Тб і не паритись.

 

Коротше поставте собі той клінер платний і подивіться що він видасть. Головне щоб не повісився на таких об'ємах.

В мене був перевірений модуль в закладках, але він виявився кацапським тому не ділюсь посиланням, інші нажаль ще не дослідив щоб порадити. Бажано щоб модуль клінінгу був з відкритим кодом (без іонкуб) тоді його можна допрацювати під свої потреби.

 

Я б нічого не ресайзив / не стискав (навпаки поставив якість 100%), просто поклінив би сміття і допиляв той модуль імпорту щоб заново мені їх не завантажував. Думаю скоріше за все більшу частину диску з'їдає саме тека з оригіналами а не кешем.

поки спробую встановити модуль що порекомендували, а далі вже по результату