Модуль Image COMPRESSOR & Watermark & WebP & Lazy Load etc. by Sitecreator [Поддержка]

[sitecreator]

Новая версия 1.9.1

 

Организовано полное взаимодействие с двумя популярными модулями выгрузки в яндекс-маркет.

Не забудьте после обновления модуля обновить кеш OCMOD.

 

[sitecreator]

Анонс.

На этой неделе планируется релиз нового модуля

"Free  space from huge or excesses images"

(Освободить пространство от огромных или лишних изображений)

 

Планируется развитие модуля.

Сейчас уже реализовано:

 

1) Сканирование папки с исходными изображениями на предмет нахождения картинок, превышающих размеры ШИРИНА х ВЫСОТА.

 

2) В фоновом режиме (с равномерной нагрузкой на процессор, которую вы можете регулировать в зависимости от мощности вашей площадки)  производится ресайз изображений до размеров, не превышающих заданные ранее ШИРИНА х ВЫСОТА.  Предполагается задание разумных размеров, обычно равных самому большому изображению товара (как правило, это всплывающее) или немного большему.  Разумно поставить ограничение в 1000 х 1000 или в 1200 х 1200,  но не более.

 

Нагрузка на процессор задается путем задания максимального количества файлов для обработки в минуту (за один раз). По умолчанию задано 100 файлов изображений в минуту.  Вы также можете регулировать и период (в минуту, за 5 минут и т.д.), но практически в этом нет необходимости.

Если у вас довольно мощный VDS (2 ядра как минимум), то можно без опаски выставлять значения вроде 1000 за один раз. Поскольку мощности достаточно, то одно ядро можно нагрузить практически непрерывной работой по ресайзу исходников. Так ресайз произойдет быстро без ущерба для работы сайта, т. к. останутся для этого свободные ядра.

 

3)  Одновременно с ресайзом огромных изображений до вменяемых размеров будет происходить исправление неправильных изображений.  Так очень часто внутри изображения с расширением JPEG содержится изображение формата PNG.  Модуль корректно преобразует это изображение в формат JPEG , что позволит получить также и выигрыш в размере файла.

 

4)  Вы сможете получить отчет в графическом виде о проделанной работе и сможете увидеть на какой стадии находится автоматический процесс по ресайзу изображений.

 

 

Показываю какой достался мне магазин с гигантскими изображениями товаров. 8000 пикселей по стороне?  Это ли не за гранью добра и зла?  У меня профессиональная фотокамера выдает максимум 6000*4000 (24 Мпкс).

 

черно-белое изображение в 3.5 Мега?

 

 

А цветное более 8 Мег?

 

 

 

-------------------------------

 

В планах добавить возможность поиска неиспользуемых изображений и их удаление.

Вероятно, что сжатие исходников тоже может быть полезным.  Высказывались такие пожелания.  Хотя я считаю с чисто практической точки зрения это малополезным, учитывая, что сжатие - это довольно затратная по ресурсам операция.

Но если кому-то это реально нужно, то добавлю.

 

Друзья, пожелания приветствуются.

 

 

[LionHunter]

3 часа назад, sitecreator сказал:

Друзья, пожелания приветствуются.

Да, вот вторая озвученная часть, очень была актуальна - поиск неиспользуемых изображений. Сюда добавил бы "поиск пустых папок из-под изображений". 

Также очень интересует не просто обрезка фоток, а правильная обрезка: есть разные ресурсы, которые способны сжать изображения без видимой потери качества на 40-80%: например imagecompressor, tinyPNG и другие. Хорошо, если бы модуль мог по api сжимать картинки после обрезки через них.  Не знаю, много ли таких как я, но вот пожелания

 

[sitecreator]

26 минут назад, LionHunter сказал:

которые способны сжать изображения без видимой потери качества на 40-80%

 

а зачем использовать сторонние сервисы если ни один из них не способен сжать лучше чем mozjpeg, который уже встроен к Компрессор?

Только если хостер не дает возможности использовать exec, без которого проблематично использовать mozjpeg.  Но таких хостеров от силы 3%. Обычно некоторые  украинские хостеры этим грешат.

 

Решение и этой проблемы есть. Я несколько позже выложу данное решение. 

 

 

 

26 минут назад, LionHunter сказал:

Также очень интересует не просто обрезка фоток, а правильная обрезка

 

А где неправильная обрезка?

 

26 минут назад, LionHunter сказал:

после обрезки через них

 

и что же они такого умеют чего не умеет Компрессор? желательно пример с картинками.

[Vorodisa]

Могу ссылку на платный модуль дать.

Мне тоже надо, но они все мутные какие то. Удаляют все подряд.

Отправлено с моего SM-A520F через Tapatalk

[sitecreator]

34 минуты назад, Vorodisa сказал:

Мне тоже надо, но они все мутные какие то. Удаляют все подряд.

 

вот тут вы абсолютно правы.

крайне не рекомендую.  очень много жалоб, что полезное удаляется тоже.

 

интеллектуальный алгоритм такой очистки весьма непростой должен быть для того чтобы исключить ложные действия.

В известном решении алгоритм слишком примитивен и ненадежен чтобы его рекомендовать.  И тот разработчик довольно глух к пожеланиям и жалобам.\ Поддержка на нуле.

 

Мало у кого найдется терпения и желания реализовать именно рабочий алгоритм, который ошибки практически сводит к нулю.

 

39 минут назад, buslikdrev сказал:

Могу ссылку на платный модуль дать.

 

лучше не надо.  я знаю про что вы пишите.  пожалейте людей и их нервы.

 

37 минут назад, Vorodisa сказал:

они все мутные какие то

 

практически никогда не критикую коллег.  Но в свете последних событий могу сказать, что разработчики там крайне мутные, как и сами последние разработки.

[Vorodisa]

 
практически никогда не критикую коллег.  Но в свете последних событий могу сказать, что разработчики там крайне мутные, как и сами последние разработки.

Вот и жду решение, а то гигов 5 точно надо удалять уже. Иногда кажется проще спарсить сайт целиком и обнулить фото на хостинге, а потом обратно все)))

Отправлено с моего SM-A520F через Tapatalk

[sitecreator]

Мой алгоритм удаления ненужного практически исключает удаление полезного.

Но для подстраховки думаю еще ввести такое понятие как "корзина".

Т. е. сначала все лишнее удаляется в корзину.

далее вы тестируете сайт несколько дней, т. е. столько сколько нужно.   Если не замечено исчезновение полезных изображений, то просто очищаете корзину или восстанавливаете из нее неверно удаленное.

 

Т. е. я предлагаю практически идеальных механизм очистки из 20х этапов:

 

1) Интеллектуальное сканирование, которое практически исключает ложные срабатывания.

2)  На случай ложных срабатываний, вероятность которых стремится к нулю,  у вас есть механизм восстановления из корзины.

 

Ни один существующий модуль по очистке не предлагает ничего подобного.

 

----------

Также в планах будет конвертация PNG в JPEG для изображений товаров с целью уменьшения раздутого объема.  С одновременными преобразованиями в БД, т. к. недостаточно просто конвертировать, нужно переписать в БД все пути к новым изображениям вместо старых.

 

 

[sitecreator]

5 минут назад, buslikdrev сказал:

Чем мой модуль плох?

 

я не ваш имел ввиду.  Я с ним не сталкивался. У вас есть разработка на этом форуме или в другом месте? Разумеется, что без рекламы, тем более, что другие ресурсы тут светить не приветствуется администрацией.

Просто популярный есть модуль совсем другого разработчика.

[sitecreator]

1 час назад, LionHunter сказал:

Сюда добавил бы "поиск пустых папок из-под изображений". 

 

да, согласен. Это было бы логично удалять пустые папки после удаления ненужных файлов, да и просто пустые (по разным причинам могут быть) полезно удалять чтобы не мешали.  Разумеется, что с согласия хозяина сайта (ставится галочка).   Реализую. Спасибо за подсказку.

[sitecreator]

1 час назад, buslikdrev сказал:

Нужно бы добавить отдельную возможность глубокого поиска названий изображений по БД.

 

Она у меня заложена с самого начала.  Это основополагающая идея и одновременно крайне сложно реализуемая (не чисто теоретически, а практически с вменяемой нагрузкой на ресурсы и адекватным временем выполнения задачи).

Этим и отличается мое решение от подобных модулей, которые совершают множество ошибочных удалений.

Кроме того информация об изображении может отсутствовать в БД, но само изображение может быть на сайте. Это также нужно иметь ввиду

 

Анализ в БД - непростое дело в плане ресурсов.  Опять же мало кто захотел (или не смог) реализовать алгоритм, который не нагружает зря сервер.  Иначе можно и сайт, да и весь сервер положить анализом. А чтобы не положить, то все подобные модули не делают такой анализ, а потому и удаляют все подряд, включая полезное.

 

Повторюсь, что задача нетривиальная если подходить с умом.  Если предположить, что мощности сервера ничем не ограничены, то можно ее решать алгоритмически тупо в лоб, но это сработает когда у вас 4 ядра как минимум по 4ГГц и 16 Гиг памяти.  Но если у вас 200 000 товара, а картинок полмиллиона как минимум в исходниках,  то стоит к алгоритму подходить очень внимательно, иначе ни 4-х, ни 8-ми ядер не хватит, и сервер будет лежать пока все полмиллиона или миллион картинок не будут просканированы.

 

Для анализа взял вполне реальный магазин (200 000 товаров), на котором буду проводить сейчас предпусковые эксперименты.

[LionHunter]

1 час назад, sitecreator сказал:

а зачем использовать сторонние сервисы если ни один из них не способен сжать лучше чем mozjpeg, который уже встроен к Компрессор?

Ну как минимум экономия места на сервере. Вот пример, с вашего же сайта взял, как понимаю, сжатые фото. Результат на скриншоте. Я не знаю, какие алгоритмы сжатия используют данные ресурсы (скорее всего это секрет), но результативность очень хорошая. Если действительно это моя заморочка, тогда вопрос закрыт )  

[sitecreator]

36 минут назад, LionHunter сказал:

Вот пример, с вашего же сайта взял, как понимаю, сжатые фото

 

Сжатые изображения на моих демо сайтах. Например:

http://watermark.sitecreator.pro/

 

В других местах я и не заморачивался пока.  Даже делаю скриншоты с качеством 100 (что уже больше чем необходимо) и вставляю прямыми ссылками с сайта joxi.ru, например.

Сайт https://sitecreator.ru/ 

вообще не показатель.   Я не делал на нем ничего для демонстрации.  Для демонстрации есть демо-сайты для трех движков (1.5, 2+, 3.0).

А на sitecreator.ru сжатие в данный момент  не включено. Часть изображений могут быть и не сжаты.

 

36 минут назад, LionHunter сказал:

Я не знаю, какие алгоритмы сжатия используют данные ресурсы (скорее всего это секрет), но результативность очень хорошая.

 

Никаких секретов нет потому, что такие алгоритмы не способны разработать небольшие компании.

Алгоритмов всего два на сегодня.  На сегодня это алгоритм от Mozilla, а второй - от Гугла.   Ничего другого для JPEG не существует в мире.

Алгоритм от Гугла на единицы процентов лучше сжимает чем mozjpeg, но при этом может работать на несколько порядков дольше, поэтому реально его может себе позволить лишь сам гугл на своих серверах.

 

На 40%-80% сжимать нереально.  Если говорить об основной массе изображений. В основном это JPEG.  Там реальный выигрыш по сравнению с созданием дефолтным GD с качеством 90 будет в итоге в районе 40%.

 

tinyPNG может сжимать как раз таки с серьезными потерями те же PNG.  Они банально превращают полноцветные изображения в PNG-8 с потерей цветовой информации.  Это годится только для очень ограниченного использования.  256 цветов - это очень мало для фотографий товаров.

 

Этот алгоритм также не является секретом.   Но я не видел никакой пользы от его внедрения, т. к. изображений, для которых он будет пригоден будет на сайте менее 1%.  Основные изображения - это в формате JPEG.

 

Вы смотрите каков выигрыш не на отдельном файле, а на тысячах файлов реального магазина.  В сумме. в 99% случаев основная масса изображений - это JPEG,  и в результате сжатия общий выигрыш почти никогда не превышает 40%.  Я говорю о суммарном выигрыше, т. к. отдельные файлы могут быть сильно сжаты.

[LionHunter]

@sitecreator Спасибо за подробную информацию )

[yura1yura]

Подскажите пожалуйста сайт на этом хостинге https://www.ukraine.com.ua сервер не выделенный

установится ли ваш модуль?

[RaVIOLy]

30 минут назад, yura1yura сказал:

Подскажите пожалуйста сайт на этом хостинге https://www.ukraine.com.ua сервер не выделенный

установится ли ваш модуль?

Да, всё стало и работает. За 10 месяцев проблем со связкой модуль+хостинг не обнаружено!

[sitecreator]

1 час назад, yura1yura сказал:

Подскажите пожалуйста сайт на этом хостинге https://www.ukraine.com.ua сервер не выделенный

установится ли ваш модуль?

 

Это один из лучших хостеров.  В плане конфигурирования, можно сказать, что это образец для подражания.

Не смотря на то, что используются обычные тарифы, проблем нет никаких.

У этого хостера настолько много гибких настроек, что любая обычная хост-площадка настраивается на любой вкус.

Правда, иногда кажется, что в настройках хостинга можно запутаться - их, действительно, много.  Но зато настроить можно все!

 

И установится, и работать будет.

[yura1yura]

6 часов назад, RaVIOLy сказал:

Да, всё стало и работает. За 10 месяцев проблем со связкой модуль+хостинг не обнаружено!

Спасибо

6 часов назад, sitecreator сказал:

 

Это один из лучших хостеров.  В плане конфигурирования, можно сказать, что это образец для подражания.

Не смотря на то, что используются обычные тарифы, проблем нет никаких.

У этого хостера настолько много гибких настроек, что любая обычная хост-площадка настраивается на любой вкус.

Правда, иногда кажется, что в настройках хостинга можно запутаться - их, действительно, много.  Но зато настроить можно все!

 

И установится, и работать будет.

Спасибо

[flaero]

Приветствую.

Анонсированный модуль ""Free  space from huge or excesses images"" еще не выпустили?

Змінено 9 листопада 2018 користувачем flaero

[sitecreator]

@flaero , hi.

Уже готов.

Здесь на форуме чуть-чуть попозже будет.

Тестирую на базе картинок-исходников в 100 Гиг.

[sitecreator]

Новый модуль готов.

Испытания прошли довольно успешно.

Осталось подготовить документацию и решить несколько формальных моментов.

 

Немного задержался, т. к. желал, друзья, подготовить максимально качественный продукт. Уверен, что вы не разочаруетесь.

Пришлось потратить немало усилий на создание веб-интерфейса по управлению файлами и папками на сервере.  Т. е. писать свой менеджер (explorer) файлов и папок.  Готового нормального решения (когда можно выбирать и файлы, и папки) нет, поэтому пришлось писать с нуля. Сама по себе задача достойна отдельного модуля.

Постарался уделить юзабилити максимальное внимание. Как можете видеть, даже блоки выбора файлов могут менять размеры согласно вашему желанию.

 

 

Постарался все максимально продумать.

Нагрузка на процессор регулируется очень легко.  Можно подстроиться под сервер (хостинг) любой мощности и работать с равномерной (заданной вами) нагрузкой без боязни уронить сервер или получить предупреждение от хостера о "большой нагрузке".

 

Вся работа производится в фоновом режиме. В админке в любой момент вы можете наблюдать степень выполнения процесса, а также можете прервать его.

 

Немного уменьшенный снимок основных настроек модуля.

 

 

 

 

P.S.  Бывает, что планы сдвигаются также по не вполне предсказуемым случаям. Обычно у меня с заказчиками проблем не бывает, работаю в основном с постоянными и проверенными, а многим часто отказываю из-за нехватки времени. По оплате вообще давно не парюсь - со всеми знакомыми честного слова более чем достаточно. Кто со мной работает не первый раз, тот знает, что предоплата вовсе не является обязательной для небольших проектов. За качество всегда болею. Но тут угораздило меня от случайной  небольшой работы на час-другой  неожиданно получить огромный геморрой. Тут уж прямо в пору писать в раздел "Отзывы о заказчиках",  поскольку за 7 лет работы с опенкарт такого необычного общения с заказчиком у меня не было. Хоть и чувствую я давно уже заказчика сразу, но, как говорится, и на старуху бывает проруха.

 

По стоимости нового модуля пока не решил. Но не исключаю, что для многих старых заказчиков будет либо большая скидка либо вообще даром раздам модуль лишь с условием поделиться отзывом потом на форуме.

Много толковых отзывов и предложений было от тех, кто тестировал первые версии по работе с обрезкой фона. Эти люди могут как раз рассчитывать на бонус.

Тем более, что и 11.11 у многих магические скидки происходят. Все случится в зависимости от настроения.

 

[sitecreator]

Новое от Гугла в оценке скорости вашего сайта.

 

 

 

Гугл дает новые рекомендации.

Раньше была просто рекомендация "сжимать".

Сейчас же гугл решил таки активно продвигать свой собственный сжатый  формат WebP.

 

Для тех, кто не в курсе, то WebP одновременно заменяет старые JPEG и PNG.

И это все реализовано наилучшим образом в Компрессоре уже.

 

Гугл никогда не ругается на свой собственный формат WebP. Ибо, по мнению гугла, он идеален.

 

Вообще, Компрессор как ни один другой модуль приспособлен для использования любого формата изображений.

И вы всегда сможете выполнить требования и рекомендации Гугла.

[sitecreator]

 

 

Прошу заметить, что цветовая дифференциация в оценке гугла изменилась.

Раньше зеленая зона начиналась с 80, а теперь с 90. 

 

Представьте, что вы договорились с заказчиком день назад вывести его в зеленую зону.  Это подразумевалось 80+.

А теперь 90+.   "нет зеленой зоны - нет оплаты"? 

 

Снова у гугла лишь одна цифра для оценки в отличие от вчерашних двух.

Изменились методы оценки.

Вчера было так:

 

 

 

К мобильному отображению теперь у гугла очень и очень строгие требования.

Если вчера вы были в зеленой зоне по мобильным устройствам, то сегодня легко окажитесь в красной.

Возможно, что гугл еще подкорректирует свои алгоритмы, нужно подождать.

А возможно, что это его новый и жесткий вариант оценки.

 

Теперь крайне сложно ставить условием оплаты такое :  "только после появления в зеленой зоне везде".

И, однозначно, что стоимость вхождения в зеленую для мобильной версии значительно увеличится.

Как видите, решающего значения скорость генерации страницы тут уже не имеет. Т. е. отделаться просто кешированием не получится.

 

Теперь гугл учитывает не просто скорость передачи данных в сети 3G,  но и скорость рендеринга (построения) самой страницы в браузере.

Страница, перегруженная чрезмерно скриптами JS будет иметь более низкую оценку даже не смотря на то, что отдача файла страницы с сервера происходит мгновенно.

 

Тут проблему кешированием на стороне сервера (что делают все кешеры) никак невозможно решить. Точнее, только кешированием ситуацию кардинально невозможно изменить.  Нужна крайне грамотная верстка с учетом всех особенностей JS, CSS и т.п.

Никакой минификацией или объединением JS, CSS не решить эту проблему.  Это будет как мертвому припарка. Вероятно, что +1 или +2 балла получите за счет объединения, но это уже неважно. При этом рискуете также получить массу геморроя после объединения и/или минификации. У меня был случай когда после минифицирования JS перестал работать нормально на одной из версий браузера.

 

В общем, появляется непаханное поле для борьбы оптимизаторов за баллы гугла.

Причем гугл  заявил, что ранжирование  сайта для мобильных устройств будет происходить с учетом оценки PageSpeed.

 

Т. е. раньше можно было говорить, что сам Гугл как поисковая система и его сервис PageSpeed - это малознакомые друг с другом люди и никак не влияют друг на друга, то теперь все совсем иначе.

Гугл таки заставляет в эру мобильных устройств максимально оптимизировать сайты под них.

 

Ничто высказанное мною выше не претендует на истину в последней инстанции, это лишь мое видение ситуации, т. е. сугубо "имхо".

[markimax]

3 часа назад, sitecreator сказал:

 

Ничто высказанное мною выше не претендует на истину в последней инстанции, это лишь мое видение ситуации, т. е. сугубо "имхо".

Спасибо коллега

Цитата

 

Точнее, только кешированием ситуацию кардинально невозможно изменить.  Нужна крайне грамотная верстка с учетом всех особенностей JS, CSS и т.п.

Никакой минификацией или объединением JS, CSS не решить эту проблему. 

 

Ну что и требовалось "доказать" т к css и js только в первом заходе загружаются а потом берутся из кеша браузера

 

А вот "баннеры" по мегабайтам ... за это google жестко снижает баллы
Так что компрессор must have

[LionHunter]

Спасибо! Очень полезно! У меня как раз с зеленой в красную пошел на мобильных