[Поддержка] SimplePars - Універсальний парсер для ІМ

[Axelenz]

05.02.2023 в 15:56, vikvol сказал:

@Axelenz, порадьте модуль для відображення товарів і редагування

Есть вот такой комбайн, например:

 

Скрытый текст

 

 

 

Это дело вкуса, я предпочитаю Admin Quick Edit PRO.

Змінено 5 лютого 2023 користувачем Axelenz

[partshez]

05.02.2023 в 15:56, vikvol сказал:

@Axelenz, порадьте модуль для відображення товарів і редагування бо поки не натрапляв на такий модуль хоча цікавлюсь. Також є нагальна потреба бачити до якого проекту в simplepars належить товар

https://prnt.sc/Bc7u0WT1CCMX  Редактор товаров. Выбрать Все товары без учета проектов. Фильтровать. Напротив каждого товара указано, каким проектом (номер проекта) данный товар обработан

[Rassol2]

05.02.2023 в 07:29, vikvol сказал:

Доброго дня. Підкажіть, будь ласка, як візуально в списку товарів Opencart побачити до якого проекту відноситься товар? Чи можливо в когось є досвід щоб доробити стовпчик біля назви товару в якому відображатиметься приналежність товару до конкретного проекту?

Вот хороший совет !

 

 

05.02.2023 в 08:52, partshez сказал:

https://prnt.sc/Bc7u0WT1CCMX  Редактор товаров. Выбрать Все товары без учета проектов. Фильтровать. Напротив каждого товара указано, каким проектом (номер проекта) данный товар обработан

Сам так смотрю при необходимости.

[vikvol]

@Rassol2, я про цей спосіб дізнався коли почав вивчати ваш модуль, але потрібно зробити багато кроків щоб дізнатися постачальника. Цікавить доопрацювання адмінки щоб в каталозі товарів вивести інформацію про проект (постачальника). Менеджеру легше буде глянути в адмінці поруч хто постачальник ніж залізти мені в налаштування імпорту і щось там випадково наклацати )). Чи є хтось хто може взятися за таке доопрацювання? Ваш модуль чудовий, я коли його придбав то відчуття як пересів з жигулів на мерседес, але коли багато постачальників то важко менеджерам орієнтуватись звідки товар тому виникла ідея створення додаткової колонки в каталозі товарів щоб поруч з товаром вивести інформацію про постачальника. Хоча б ІД проекту якщо не саму назву проекту.

[Rassol2]

05.02.2023 в 14:07, vikvol сказал:

@Rassol2, я про цей спосіб дізнався коли почав вивчати ваш модуль, але потрібно зробити багато кроків щоб дізнатися постачальника. Цікавить доопрацювання адмінки щоб в каталозі товарів вивести інформацію про проект (постачальника). Менеджеру легше буде глянути в адмінці поруч хто постачальник ніж залізти мені в налаштування імпорту і щось там випадково наклацати )). Чи є хтось хто може взятися за таке доопрацювання? Ваш модуль чудовий, я коли його придбав то відчуття як пересів з жигулів на мерседес, але коли багато постачальників то важко менеджерам орієнтуватись звідки товар тому виникла ідея створення додаткової колонки в каталозі товарів щоб поруч з товаром вивести інформацію про постачальника. Хоча б ІД проекту якщо не саму назву проекту.

Прежде чем переходит к таким вндерениям я бы рекомендовал попробовать в настройках проекта в пустом поле товара, к примеру UPC записывать метку поставщика.
Либо, я раньше так делал на одном проекте где много поставшиков. К артикулу добавлял приставку
ps1-{gran_1}
И модуль добавлял в начала артикула идентификатор поставшика откуда парсим.
Таким образом и унифицировались артикула, и всегда можно было по первым буквам артикула узнать кто поставшик.

Одним словом для начала поразмышляйте о таких подходах, в товаре очень много полей которые можно использовать как метку.

[partshez]

05.02.2023 в 22:12, Rassol2 сказал:

Прежде чем переходит к таким вндерениям я бы рекомендовал попробовать в настройках проекта в пустом поле товара, к примеру UPC записывать метку поставщика.
Либо, я раньше так делал на одном проекте где много поставшиков. К артикулу добавлял приставку
ps1-{gran_1}
И модуль добавлял в начала артикула идентификатор поставшика откуда парсим.
Таким образом и унифицировались артикула, и всегда можно было по первым буквам артикула узнать кто поставшик.

Одним словом для начала поразмышляйте о таких подходах, в товаре очень много полей которые можно использовать как метку.

И я именно так и стараюсь делать. В артикул или код товара всегда вставляю префикс поставщика - две-три буквы. ps-, prom-(pr-), roz-, olx-...  https://prnt.sc/NyHGocCHAfOV   И всегда все понимают какого поставщика данный товар. 

Но лучше это делать не в поле Артикул или Код товара на вкладке Парсинг в ИМ, а в Поиск/замена  https://prnt.sc/8WUlV0uakRM9  Иначе при отсутствии информации в {gran_1} будет создан товар с артикулом ps1-. В этом случае ps1-{gran_1}

Змінено 5 лютого 2023 користувачем partshez

[vikvol]

Дякую, за вказаний напрямок. Варіант з модифікованим артикулом відкинув на самому початку, Пробую з полем UPC. Модуль Admin Quick Edit PRO дозволяє виводити цю колонку. Але нажаль я його не знаходжу чомусь тут на форумі. Знайшов на  але щось мені здається що там піратки виставляють

Змінено 5 лютого 2023 користувачем vikvol

[Rassol2]

05.02.2023 в 14:24, vikvol сказал:

Дякую, за вказаний напрямок. Варіант з модифікованим артикулом відкинув на самому початку, Пробую з полем UPC. Модуль Admin Quick Edit PRO дозволяє виводити цю колонку. Але нажаль я його не знаходжу чомусь тут на форумі. Знайшов на ...... але щось мені здається що там піратки виставляють

Да это пиратский сайт, удалите ссылку на него из этой темы.

[Axelenz]

05.02.2023 в 22:24, vikvol сказал:

Але нажаль я його не знаходжу чомусь тут на форумі.

Это как пример, ну возьмите любой другой понравившийся редактор.

https://opencartforum.com/files/file/6485-udobnoe-massovoe-redaktirovanie-tovarov-v-opencart-s-modulem-handy-product-manager/

[Rassol2]

Хочу поделится впечатлениями от будущего.

 

Только что решил попробовать ChatGPT
что это за существо можете узнать из интернета.
Так вот он действительно хорош во многих аспектах.

Решил немного поделится своим впечатлением.
А точнее мне разорвало бошку !!!!

Мне написал один человек просьбу по поводу скрипта, мол хочу скрипт который будет скачивать файлы и записывать их в товар. (Такие хотелки я думаю многие знают. )
Так как я сейчас занят, пипец как занят со всех сторон. Я решил перефразировать задачу ChatGTP и псмотреть что из этого выйдет.
Я блин офигел от результата!!!

Как я поставил задачу.

Скрытый текст

Что мне выдал ChatGPT !!!

Скрытый текст

Задачу я поставил похабно, а результат уже при минимальных правках можно использовать.

Тут можно указать данные подключения к базе данных.
Указать директорию для хранения файлов.
И указать переменную для id товара.
А и указать переменную в которой хранится ссылка на файл.

И по сути этот скрипт можно запихнуть в симпле парс и он блин будет скачивать файлы и загружать в товар при парсинге!!!
Просто хочу поделится моими изумлениями.

Это шок!!!

[Flint2000]

@Rassol2 Ще це можна спробувати copilot

[Leo0505]

Добрий день ! у модуля симплпарс есть возможность импорта товара из файла xlsx ????

[Rassol2]

06.02.2023 в 05:44, Leo0505 сказал:

Добрий день ! у модуля симплпарс есть возможность импорта товара из файла xlsx ????

Здравствуйте.
нет модуль не занимается загрузкой данных из прайс листов.

[agkiev]

Всем привет,

 

У нас любопытная ситуация, парсим сайт - 4000+ товаров, сайт на 2х языках

Например есть товар у которого линейка состоит из 40 моделей, отличаются эти модели цветом и объемом памяти.

Описание(текст+фото) у всех одинаковое - чистый маркетинг.

На выходе получаем такую математику

40 товаров, в описании 17 фотографий, 2 языка = 1360 дублей фото. - это приводите и уже привело к нехватке места на хосте - 20гб закончились мгновенно, перешли уже на план 100гб. 

 

Каким образом можно объяснить модулю SimplePars чтобы он не плодил дубли фото во время парсинга?

Каким образом можно избавить от дублей фото после парсинга?

 

Спасибо

[Rassol2]

06.02.2023 в 06:46, agkiev сказал:

Каким образом можно объяснить модулю SimplePars чтобы он не плодил дубли фото во время парсинга?

С чего вы взяли что это дубли ?
 

Цитата

Каким образом можно избавить от дублей фото после парсинга?

Смотрите ответ на первый вопрос.

А если серьезно эта задача не решаемая, а компромисная.
Что бы понять всю сложность ответе мне на вопрос, у вас есть два изображение.
1.png
и
1.png

Вопрос. Это одинаковые изображения или нет ?

[agkiev]

06.02.2023 в 14:51, Rassol2 сказал:

С чего вы взяли что это дубли ?
 

Смотрите ответ на первый вопрос.

А если серьезно эта задача не решаемая, а компромисная.
Что бы понять всю сложность ответе мне на вопрос, у вас есть два изображение.
1.png
и
1.png

Вопрос. Это одинаковые изображения или нет ?

 

Парсер выкачивает каждую страницу как отдельный товар - это я понимаю, для парсера это разные объекты которые он упорядочивает по заданным правилам. 

Для парсера ваш пример 1.пнг и 1.пнг два разных файла. 

 

 

Каким образом парсеру можно объяснить: до парсинга или после парсинга?

находим товар с таким именем "ipad+pro+2022" 

в описание этого товара пути к изображениям меняем на необходимые нам? 

 

автоматизировать в рамках всех товаров не получится - понимаю, но хотя по выделенным товарам/группам товаров это можно сделать?

[Rassol2]

06.02.2023 в 07:03, agkiev сказал:

Каким образом парсеру можно объяснить: до парсинга или после парсинга?

Вы поймете это когда попробуете ответить на мой вопрос.
Это одинаковые фото или разные ?
Если вы подумаете над моей задачей вы все поймете.

Видя имя файла вы не можете дать мне ответ на мой вопрос.
А почему ?
Потому что нет достаточно данных, а значит нужно больше данных.
И тут есть 2 пути.

Хранить все ссылки на все фото и то куда мы эти фото сохранили у себя.
А значит после парсинга каждого фото делать запись в базу данных об источнике и где мы храним это фото. Говорить о размере базы данных и скорости парсинга вообще не приходится. Скорее такой парсинг никому не будет нужен, руками быстрее.

Второй вариант, перед записью фото получать списко всех сушествующих фото, затем через функцию хеша хешировать все фото и хешировать фото которые хотим записать и сравниваем со всеми фото что есть, и принимаем решение.
Ну этот метод вообще не дееспособный.

Можете попробовать сделать как вы хотите.
Но вы упретесь в теже проблемы что я описал ранние.
Других решений я не вижу.

[Axelenz]

06.02.2023 в 15:14, Rassol2 сказал:

Это одинаковые фото или разные ?

Для того, чтобы с достоверностью 99% получить правильный результат, нужно использовать ПРАВИЛЬНЫЕ пути для хранения самих фото для Описания. Например: путь хранения составлять с учётом подкатегории, где находится товар или использовать серии товара...

Змінено 6 лютого 2023 користувачем Axelenz

[Rassol2]

06.02.2023 в 07:36, Axelenz сказал:

Для того, чтобы с достоверностью 99% получить правильный результат, нужно использовать ПРАВИЛЬНЫЕ пути для хранения самих фото для Описания. Например: путь хранения составлять с учётом подкатегории, где находится товар или использовать серии товара...

Это вообще не про то.
Не важно что и как хранить.

Интересная ситуация, я задал максимально простой вопрос, и реально задумавшись об его ответе все становится понятно. Но пока что не кто не задумался.

Не важно по какой ссылке получать фото , не важно как их хранить, если вы не можете понять одинаковые фото это или нет имея исключительно их названия.
Так же и модуль.
Либо мы будем хранить и работать с производными процесса парсинга фото, тогда мы сможем более детально сделать оценку, но это будет стоить колоссальных ресурсов. Либо мы принебригаем нейменгом фото. И все фото с именем 1.png будут одинаковые.
И если у вас донора имеет разные фото с одинаковыми названиями, которые лежат в разных директориях вы получаете черт знает что.

Самое компромиссное решение это принебереч этим и взять больше диска.

Отдельно могу сказать что есть еше одно решение которое наверное можно рассмотреть. Написать какой то скрипт который будет брать все фото из базы опенкарт. Далее делать шех шусммы каждой фотки. И сравнивать хеш сумму, и если хеш сумму сходятся вы знаете что эти фото одинаковы в незвисимости от того какое у них название, далее по какой то логике выбираете одно из совпавших фото и заменяете путь в базе данных на это фото, и затераете все остальные.
Дакое я думаю написать можно, и сделать это отдельным скриптом. Задача не легкая но реальная.

Я думаю кто то из раздела платных услуг за некое количество шекелей сможет что то подобное реализовать. Это не скрипт для моего модуля это просто в обшем скрипт php который можно отдельно запустить к примеру раз в месяц.

[Axelenz]

Сегодня помог заказчику убрать из Описания около 30 Гиг дублей фото в Описании. Фото большого разрешения и общее их количество было около 30,000... Если у кого-то есть подобная проблема, кому не хочется оплачивать ежемесячно за хранение лишних десятков Гигабайт на хостинге дублированных многократно фото - обращайтесь... Но каждый случай может быть не похож на предыдущий, поэтому требует тщательного анализа...

Как и говорил разработчик, нужно искать компромиссное решение... я нашёл своё )

[Rassol2]

06.02.2023 в 14:52, Axelenz сказал:

Сегодня помог заказчику убрать из Описания около 30 Гиг дублей фото в Описании. Фото большого разрешения и общее их количество было около 30,000... Если у кого-то есть подобная проблема, кому не хочется оплачивать ежемесячно за хранение лишних десятков Гигабайт на хостинге дублированных многократно фото - обращайтесь... Но каждый случай может быть не похож на предыдущий, поэтому требует тщательного анализа...

Как и говорил разработчик, нужно искать компромиссное решение... я нашёл своё )

Собственно обращайтесь кому интересно.

[niger]

06.02.2023 в 22:52, Axelenz сказал:

Сегодня помог заказчику убрать из Описания около 30 Гиг дублей фото в Описании. Фото большого разрешения и общее их количество было около 30,000... Если у кого-то есть подобная проблема, кому не хочется оплачивать ежемесячно за хранение лишних десятков Гигабайт на хостинге дублированных многократно фото - обращайтесь... Но каждый случай может быть не похож на предыдущий, поэтому требует тщательного анализа...

Как и говорил разработчик, нужно искать компромиссное решение... я нашёл своё )

На php есть вот такая штука https://github.com/jenssegers/imagehash

Я для одного сервиса использовал, крайне интересная штука. Клиент загружает фото, у тебя в базе хранится путь к картинке и ее hash. Ты сверяешь хеш, если есть, чистишь этот темп и этому объекту даешь то фото, что уже есть, если нет, пишешь в базу с хешем для последующих проверок и сохраняешь. 

 

Поделюсь с сообществом, может кому-то будет полезно. 

Змінено 9 лютого 2023 користувачем niger

[Rassol2]

09.02.2023 в 03:33, niger сказал:

На php есть вот такая штука https://github.com/jenssegers/imagehash

Я для одного сервиса использовал, крайне интересная штука. Клиент загружает фото, у тебя в базе хранится путь к картинке и ее hash. Ты сверяешь хеш, если есть, чистишь этот темп и этому объекту даешь то фото, что уже есть, если нет, пишешь в базу с хешем для последующих проверок и сохраняешь. 

 

Поделюсь с сообществом, может кому-то будет полезно. 

Примерно про этот подход я писал ранние, что можно вести учет всех фото и их хеши. Это немного может раздуть базу данных и количество запросов в базу данных. Ну и коственная проблема это неявность связей.

Допустим вы когда то добавили товар с фото, и потом у вас через год появились еше 10 товаров с той же фоткой. И они по этой схеме в не вашего контроля пристроились новым товарам. Место вам сэкономили.
А потом вы через год уже не торгуете этим товаров и выбираете удалить этот товар, но место важно и удаление вместе с фото. И вот физически фото с диска сносится и у вас во всех товарах где присвоена также фотка исчезает главное фото товара.
И самое страшное вы об этом не узнаете пока сами не увидите или ваши клиенты.
Довольно тяжелая ситуация.

Такое подход тоже имеет право на жизнь но нужно понимать какие это риски и сложности.

[niger]

09.02.2023 в 11:45, Rassol2 сказал:

Примерно про этот подход я писал ранние, что можно вести учет всех фото и их хеши. Это немного может раздуть базу данных и количество запросов в базу данных. Ну и коственная проблема это неявность связей.

Допустим вы когда то добавили товар с фото, и потом у вас через год появились еше 10 товаров с той же фоткой. И они по этой схеме в не вашего контроля пристроились новым товарам. Место вам сэкономили.
А потом вы через год уже не торгуете этим товаров и выбираете удалить этот товар, но место важно и удаление вместе с фото. И вот физически фото с диска сносится и у вас во всех товарах где присвоена также фотка исчезает главное фото товара.
И самое страшное вы об этом не узнаете пока сами не увидите или ваши клиенты.
Довольно тяжелая ситуация.

Такое подход тоже имеет право на жизнь но нужно понимать какие это риски и сложности.

Уже давно физически не удаляют товары, плохо для СЕО. Ну и если прям хочется, при удалении товара, не обязательно с ним удалять фото - это просто прибить в базе одну запись, где указывается лишь айди изображения, или путь к нему. Ну и перед удалением фото, берем его и сверяем в базе, есть ли он у кого-то в базе товаров или нет. Если нет - удаляем. 

Вообще каждый выбирает свой подход. Я лишь дал библиотеку, которую использовал в своем случае. 

А вам спасибо за ваши наблюдения и мысли, так каждый прочитает дискуссию и решит, использовать или нет и как использовать в его случае.

[Rassol2]

09.02.2023 в 03:57, niger сказал:

Уже давно физически не удаляют товары, плохо для СЕО. Ну и если прям хочется, при удалении товара, не обязательно с ним удалять фото - это просто прибить в базе одну запись, где указывается лишь айди изображения, или путь к нему. Ну и перед удалением фото, берем его и сверяем в базе, есть ли он у кого-то в базе товаров или нет. Если нет - удаляем. 

Вообще каждый выбирает свой подход. Я лишь дал библиотеку, которую использовал в своем случае. 

А вам спасибо за ваши наблюдения и мысли, так каждый прочитает дискуссию и решит, использовать или нет и как использовать в его случае.

Любой подход имеет право на жизнь. Возможно кто-то воспользуется и вашим подходом к решению этой задачи.