[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Обновление 3.6_beta

Внедрена система парсинга описаний с фото. И теперь фото будут скачивать модулем к вам на хостинг и не ссылается на донора.
Если вы хотите что бы в ваших описаниях были фото.

На данный момент это первая реализация этой возможности и после тестирования и первичной обкатки будет ясно что не хватает.
На данный момент управления этой настройкой отсуцтвует и модуль по умолчанию грузит фото в директорию
/image/catalog/description/ внутри которой создает директории от 0 до 9 и раскладывает по ним фото, что бы снизить нагрузку на файловую систему и тем самым сделать работу вашего сайта быстрее.

Как указать парсинг фото в описании.
Что бы указать модулю что в данной границе парсинга есть фото которые нужно скачать в случаи использования границы в роли описания товара вам нужно сделать следующие.

Все фото хранятся в html теге <img>
Пример : <img alt="" src="/res/img/uploads/landing/133134/im_5eb68e7cb45c4.jpg">

 

Все что вам нужно сделать это в поиск замене заменить <img на {img} и тем самым вы поставите маячок для модуля и он будет знать что вы желаете скачать эти фото непосредственно к себе. То есть правило будет выглядеть так.
<img|{img}

После применения этого правила у вас тег с фото получит вот такой формат.
Пример: {img} alt="" src="/res/img/uploads/landing/133134/im_5eb68e7cb45c4.jpg">

Это именно то что нам нужно!!

Внимание!!!
Сразу хочу предупредить если вы хотите сохранить фото в описании, и при этом удалить все html теги, что в полностью реально, вам нужно указать правило в поиск замене
<img|{img}
перед тем как укажите правило вырезать все html теги
<{skip}>|

Если укажите в обратном порядке то модуль сперва вырежет все html теги а затем будет искать где html тег в котором нужно поставить моячек, и понятное дело ничего не найдет. Будьте внимательны и не забывайте об этом.

Как будет выглядеть поиск замена границы описания с правильно оформленным парсингом фото

Спойлер

А теперь пример того же описания с парсингом фото но без лишних html тегов.

Спойлер

Как вы видите после правильного указания правил мы удалили все html теги при этом сохранили парсинг фото!

 

Обратите внимание что при парсинге фото в описание вам не нужно самим разбирать тип ссылки и подставлять доменное имя, модуль это сделает сам.
В данной версии он сам определяет домен и полный путь к фото, так же фото в описании парсятся в много поточном режиме.
Если модуль будет ошибаться в определении ссылки на фото в описании, я усложню правило где вам нужно будет вручную форматировать ссылки с указанием полного пути.

Но как показывают мои тесты пока все работает хорошо и все определяется без проблем.

 

Так же обратите внимание что при парсинге фото описаний это тратятся доп ресурсы на хранение фото, и время на их парсинг.
 

Спойлер

Надеюсь мой подход будет вам по душе, и я смог в полной мере объяснить логику формирования парсинга фото в описании.
Жду ваши комментарии, лайки, подписки, предложения   !!!
 

[RuslanLight]

Спасибо огромное за эту доработку!!!
Сразу назрел вопрос, а надо ли что-то делать что бы эти же фото попадали в доп фото товара? см. скрин 

Или наоброт - из доп фото в описание?
Что бы не парсить одни и те же фото дважды...

 

Змінено 8 липня 2020 користувачем RuslanLight

[Rassol2]

3 часа назад, RuslanLight сказал:

Спасибо огромное за эту доработку!!!
Сразу назрел вопрос, а надо ли что-то делать что бы эти же фото попадали в доп фото товара? см. скрин 

Или наоброт - из доп фото в описание?
Что бы не парсить одни и те же фото дважды...

 

Не совсем понял суть вопроса.
Если фото находятся у донора в разделе доп фото то ненужно их сувать в описание.
А если они находятся в описании то зачем их сувать как доп фото.

Но если хотите можете сделать вторую границу парсинга где будете выдергивать исключительно ссылки из описания, формировать их по правилам фото то вара и добавлять их в доп фото товара.
Но зачем это делать пока не понятно.

[RuslanLight]

2 часа назад, Rassol2 сказал:

А если они находятся в описании то зачем их сувать как доп фото.

Потому что чаще всего (не всегда конечно) доп фото используются в самом описании.
У донора, которого вам присылал именно так и происходит, у них вообще в описание нельзя добавить фото которых нет в дополнительных.
Таким образом оооочень сильно экономится место на хостинге, по сути дела в два раза меньше места надо.

Например у меня сейчас 9к товаров занимают 6гигов, и это только с одной главной фоткой!!!
А 95% места занимают именно фотки и их ресайзы.
При том же объеме товаров, но с доп фотками объем = Х2 , а с товарами в описании которые будут работать по другой логике и складваться отдельно, объем станет - Х3
Это можнно разориться на хостинге (((

[Rassol2]

8 минут назад, RuslanLight сказал:

Потому что чаще всего (не всегда конечно) доп фото используются в самом описании.
У донора, которого вам присылал именно так и происходит, у них вообще в описание нельзя добавить фото которых нет в дополнительных.
Таким образом оооочень сильно экономится место на хостинге, по сути дела в два раза меньше места надо.

Например у меня сейчас 9к товаров занимают 6гигов, и это только с одной главной фоткой!!!
А 95% места занимают именно фотки и их ресайзы.
При том же объеме товаров, но с доп фотками объем = Х2 , а с товарами в описании которые будут работать по другой логике и складваться отдельно, объем станет - Х3
Это можнно разориться на хостинге (((

Нет, фото которые идут в доп фото товара, и фото которые лежать в описании они считаются разными, и будут занимать обьем.
От этого не уйти. И не выйдет сделать по другому.
Суть в чем когда вы парсите фото в товаре и кладете его куда то у вас а затем парсите фото описания и что бы модуль определил что такое фото уже было спарсено ему нужно всего ничего пройтись по ВСЕМ директориями и под директориям /image/** просмотреть все ваши 6гб фото, сделать с них слепок в виде хеша, затем все эти хеши сравнить с первой фоткой описания что бы сделать вывод есть такое фото или нет и нужно его качать или нет.

Затем повторить это действие для всех других фото которые будут попадать в магазин.

Тут вы больше разоритесь на хостинге чем просто докупить места.
Понятное дело что это все можно оптимизировать, создать отдельную базу данных куда заранее складывать слепки фото, затем контролировать все удаление перемещение.
Это все сделает скорость определение в сотни раз быстрее НО это увеличит сложность разработки модуля и добавит еше пару тысяч строк кода.
То есть решение этой задачи просто будет не целесообразна.

[RuslanLight]

17 часов назад, Rassol2 сказал:

внутри которой создает директории от 0 до 9 и раскладывает по ним фото, что бы снизить нагрузку на файловую систему и тем самым сделать работу вашего сайта быстрее.

У меня пара вопросов по этому поводу:
1. При парсинге товаров тоже рекомендуете раскладвать фото по подпапкам, с целью уменьшения нагрузки на файловую систему? Потому что у меня стоит настройка "не создавать подпапки" - http://prntscr.com/te80fv
2. Есть ли какой то вариант при парсинге фото товара обновлять фото с удалением старого фото на хостинге? Потому что существующая настройка "обновлять (но не удалять с сервера)" захламляет хостинг не используемыми старыми фото. И самое страшное что их вычислить и почистить нет никакой возможности. 

[Rassol2]

2 минуты назад, RuslanLight сказал:

1. При парсинге товаров тоже рекомендуете раскладвать фото по подпапкам, с целью уменьшения нагрузки на файловую систему? Потому что у меня стоит настройка "не создавать подпапки" - http://prntscr.com/te80fv

Да луче поставить, но если мало товаров и фото то не обязательно.
 

3 минуты назад, RuslanLight сказал:

2. Есть ли какой то вариант при парсинге фото товара обновлять фото с удалением старого фото на хостинге? Потому что существующая настройка "обновлять (но не удалять с сервера)" захламляет хостинг не используемыми старыми фото. И самое страшное что их вычислить и почистить нет никакой возможности. 

нет пока такой возможности нету.
Потому что вы можете спарсить фото товара а затем захотите использовать эти фото в виде банера, или в виде фото категории или еше чего то.
В таком случаи модуль при обновлении удалит старые фото и все места где вы используете это же фото получатся битые.

Хотя в модуле есть задел на реализацию этого возможно включу эту возможность. Это своего рода зашита от глупости.
Да и обновлять фото нужно как правило раз в год одному из 1000человек. Я лично не видел что бы у донора обновлялись фото.
Но это мое личное мнение, которое не претендует на истину.

[RuslanLight]

8 минут назад, Rassol2 сказал:

Я лично не видел что бы у донора обновлялись фото.

 

К сожалению этим грешит мой донор.
Это связано с тем что он является маркетплейсом и некоторые продавцы часто подменяют фото и описание, потому что тогда у товара сохраняются отзывы и рейтинг.

Например такое было со скейтбордами - технические характеристики практически одинаковы. а вот принт на доске разный. Из-за этого 2-3 продажи пришлось просто отменить. 
Не знаю как в других странах и в других маркетплейсах, но вполне возможно что для них такие манипуляции тоже актуальны.
А вот если это прямой поставщик/дистрибьютер товара, то они конечно не будут так мешать. потому что 1 товар = 1 артикул = 1 конкретный набор характеристик и внешний вид.

Естественно не настаиваю на первоочередном внедрении нового варианта парсинга фото. Все в порядке потребностей пользователей!

 

18 минут назад, Rassol2 сказал:

Да луче поставить, но если мало товаров и фото то не обязательно.

Спасибо за ответ. Думаю 9к+ товаров это не "мало"

[Rassol2]

12 минут назад, RuslanLight сказал:

Естественно не настаиваю на первоочередном внедрении нового варианта парсинга фото. Все в порядке потребностей пользователей!

Я посмотрю если будет не сильно сложно то добавлю в ближайшие релизы, обновление фото с удалением старых.

[partshez]

Всем привет! Подскажите, не могу найти решение. 

http://darsitrade.ru/catalog/catalog_84989.html  Каждому цвету соответствуют несколько размеров. Без связанных опций хочется сделать значения опций. Цвет-первый размер данного цвета (Cielo 1B), Цвет-второй размер данного цвета (Cielo 2A),.... (Cielo 2B), (Cielo 2C), (Cielo 3A)... (Cielo 5C)

https://prnt.sc/tea101  

Что-то типа этого  https://prnt.sc/tea2zp

 

Змінено 8 липня 2020 користувачем partshez

[Rassol2]

4 минуты назад, partshez сказал:

Всем привет! Подскажите, не могу найти решение. 

http://darsitrade.ru/catalog/catalog_84989.html  Каждому цвету соответствуют несколько размеров. Без связанных опций хочется сделать значения опций. Цвет-первый размер данного цвета (Cielo 1B), Цвет-второй размер данного цвета (Cielo 2A),.... (Cielo 2B), (Cielo 2C), (Cielo 3A)... (Cielo 5C)

https://prnt.sc/tea101  

 

Лично я не прикидываю как это сейчас реализовать.

Тут нужно придумать какой то цикл в котором вы будете перебирать значение размеров и подставлять к ним значение цвета что бы получить новый набор даных и записать их в одну опцию. Я пока не знаю как такое провернуть.

[partshez]

Только что, Rassol2 сказал:

Лично я не прикидываю как это сейчас реализовать.

Тут нужно придумать какой то цикл в котором вы будете перебирать значение размеров и подставлять к ним значение цвета что бы получить новый набор даных и записать их в одну опцию. Я пока не знаю как такое провернуть.

И я не могу придумать пока. Спасибо!

[Axelenz]

Цитата

Внедрена система парсинга описаний с фото. И теперь фото будут скачивать модулем к вам на хостинг и не ссылается на донора.
Если вы хотите что бы в ваших описаниях были фото.

Из хотелок...

Не хватает возможности получения фото из описания у донора при парсинге не в ИМ, а при работе на вкладке CSV/Парсинг. Ведь не все парсят товары только для своего магазина...

[Rassol2]

1 час назад, Axelenz сказал:

Из хотелок...

Не хватает возможности получения фото из описания у донора при парсинге не в ИМ, а при работе на вкладке CSV/Парсинг. Ведь не все парсят товары только для своего магазина...

Здравствуйте.

как вы видите это при парсинге не в ИМ ?

[Axelenz]

3 часа назад, Rassol2 сказал:

Здравствуйте.

как вы видите это при парсинге не в ИМ ?

Как вариант. На вкладке CSV/Парсинг внизу под " Использовать проверку границ? " добавить ещё "Скачать фото с описания, если есть." и указать папку, куда поместить. На основании указанных данных прописывается путь к фото в описании... Но каждый раз при новом парсинге на этой вкладке затирается указанная папка, чтобы не дублировать фото. А для этого пишется предупреждение, что папку для фото необходимо указывать новую, а не существующую с данными.

Или, как вариант, создаются каждый раз новые description_200709_1524 т.е. с префиксом даты и времени для уникальности...

А на вкладке "Парсинг в ИМ" можно сделать поле выбора, откуда брать фото для описания, парсить или с указанной папки...

 

Теперь о плохом...

Допустим, у донора специфическая CMS и у всех товаров в описаниях фото имеют одинаковые названия типа img1, img2... img9. Тогда вариант с папками в description 0-9 не проходит. Тогда варианты или создавать в дескрипшин подпапки по артикулам товаров или использовать существующие цепочки подпапок донора...Второй вариант даже предпочтительнее.

Змінено 9 липня 2020 користувачем Axelenz

[Rassol2]

1 час назад, Axelenz сказал:

Как вариант. На вкладке CSV/Парсинг внизу под " Использовать проверку границ? " добавить ещё "Скачать фото с описания, если есть." и указать папку, куда поместить.

тогда ради справедливости нужно делать парсинг не только фото описания но любых фото в принципе.
 

1 час назад, Axelenz сказал:

На основании указанных данных прописывается путь к фото в описании... Но каждый раз при новом парсинге на этой вкладке затирается указанная папка, чтобы не дублировать фото.

Автоматически затирать ничего нельзя, это нужно делать только принудительно по нажатию кнопки. А то можно много беды на даелать.
 

1 час назад, Axelenz сказал:

А на вкладке "Парсинг в ИМ" можно сделать поле выбора, откуда брать фото для описания, парсить или с указанной папки...

а вот это невозможно.
Поскольку вы сейчас озвучили некий концепт как у модуля АОП, это не плохой концепт но тут есть одна большая проблема. В аоп у вас прайс где может быть указана название фото и АОП может по названию поискать фото в нужной директории. И то это в аоп работает только в фото товарах. А в описаниях такое не провернуть.

Суть в том что в описании фото может быть много и каждое фото нужно вставить ровно на свое место. Для этого нужно взять имя фото до скачивание и через поиск замену заменить в описании путь с оригинала на свой, а если фото будет зарание лежать у вас в папке значит путь до фото у вас и удонора будет разный и сопоставить куда это фото нужно втыкнуть очень сложно.

 

1 час назад, Axelenz сказал:

Теперь о плохом...

Допустим, у донора специфическая CMS и у всех товаров в описаниях фото имеют одинаковые названия типа img1, img2... img9. Тогда вариант с папками в description 0-9 не проходит. Тогда варианты или создавать в дескрипшин подпапки по артикулам товаров или использовать существующие цепочки подпапок донора...Второй вариант даже предпочтительнее.

это не проблема, модуль добавит к каждому фото приставку и загрузит по директориями.

Честно говоря я не чувствую жесткой необходимости в реализации парсинга файлов в свои директории при парсинге фтп.
Но поскольку сейчас я кружусь в коде модуля где реализовываю как раз парсинг этих фото я сделаю такую возможность.
Но реализация будет довольно бедной, я заложу фундамент на расширение но если эти функция не будет пользоваться популярность то активного развития она не получит.

Как это сделаю сейчас.
Все настройки парсинга фото останутся как сейчас для парсинга описаний.
При парсинге в csv модуль будет видить эти маячки в коде и автоматом качать в директорию
/admin/simplepars/img/id/
А в прайс вместо моячка будет подставятся <img alt="" src="тут полный путь к фото у вас на сайте, с http" width="100%">
С этим уже можно будет работать.

будут люди пользоваться этой функцией будем ее развивать, не будут оставим как есть, в таком формате с ней можно будет работать а для большей кастомизации прайс всегда можно подредактировать.

[Axelenz]

2 часа назад, Rassol2 сказал:

тогда ради справедливости нужно делать парсинг не только фото описания но любых фото в принципе.

У меня наглости не хватило просить, сделайте ещё и что-то типа Teleport Pro...

[Rassol2]

15 минут назад, Axelenz сказал:

сделайте ещё и что-то типа Teleport Pro...

а это что такое ?

[Axelenz]

30 минут назад, Rassol2 сказал:

а это что такое ?

софтина из прошлого, которая позволяла скачивать сайты как целиком, так и файлы с разными расширениями...

[Rassol2]

22 минуты назад, Axelenz сказал:

софтина из прошлого, которая позволяла скачивать сайты как целиком, так и файлы с разными расширениями...

по сути если добавить парсинг фото в директорию то мой модуль и будет это делать.
Так как если заниматься парсингом с кешированием страниц то у вас будет хранится полная копия сайта донора.
Они лежат в файла кеша.
 

Спойлер

В этих файлах лежат полная копию html страниц сайта донора.
 

[RuslanLight]

30 минут назад, Axelenz сказал:

софтина из прошлого, которая позволяла скачивать сайты как целиком, так и файлы с разными расширениями...

Имхо, но для этого лучше подойдет просто отдельная софтина типа CD (у нее есть такая функция - спарсить весь сайт), потому как симплпарс больше подходит что бы парсить "с сайта в сайт".

[Rassol2]

5 минут назад, RuslanLight сказал:

Имхо, но для этого лучше подойдет просто отдельная софтина типа CD (у нее есть такая функция - спарсить весь сайт), потому как симплпарс больше подходит что бы парсить "с сайта в сайт".

А я и не спорю.
Это не цель которую должен решать мой модуль, но по факту это можно сделать при желании.

[Validos]

Добрый день. Сразу прошу прощения т. к. может не в тему. Порекомендуйте специалиста для удаления водяного знака. Вкратце : есть спарсенный  эксель каталог с товаром и ссылками на фото (9к+), на всех фото стоит одинаковый вод.знак. ( непосредственно на самом товаре. Нужна помощь очистить от штампа. Пишите в телеграм +380637916050 

[RuslanLight]

@Validos В вашем случае стоит попробовать перепарсить товары с фото без водяного знака, в некоторых CMS в коде можно нарыть ссылку на оригинальную фотку

[Rassol2]

@Validos Я таких не знаю.
тут луче попробовать по рекомендации
 

1 час назад, RuslanLight сказал:

@Validos В вашем случае стоит попробовать перепарсить товары с фото без водяного знака, в некоторых CMS в коде можно нарыть ссылку на оригинальную фотку