[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

04.10.2023 в 19:54, cmamonov сказал:

Добрый вечер. Подскажите пожалуйста как сделать пирсинг в csv атрибуты ровно по столбцам? Что бы атрибут и его значение было только в одном столбце, а не разбросаны по разным столбцам? 

 

Каждый атрибут в отдельной границе

[cmamonov]

04.10.2023 в 20:17, partshez сказал:

Каждый атрибут в отдельной границе

Что бы было ровненько. 

 

 

[partshez]

04.10.2023 в 20:24, cmamonov сказал:

Что бы было ровненько. 

 

 

Для каждого атрибута отдельную границу и отдельный столбик в csv

[Rassol2]

Обновление v4.9-9_beta
Улучшение построение в XML/YML дерева категорий.
По просьбе @Axelenz внедрил штучное преобразование дерева категорий от донора.
Очень часто дерево категорий приходит от донора битыми, раньше модуль мог составить дерево категорий только в том случаи если в выгрузке xml была корректная. И указывались правильно родительские категории донора.
Теперь же, если придет битое дерево категорий то модуль попробует исправить ошибку прайса и выдать дерево категорий.
Возможно некая погрешность в стартовой категории дерева, но при этого все равно будет 95%+ правильно составленных категорий.
Погрешность возможно там где битые категории, где все нормально модуль по прежнему будет выдавать результат на основе обработки категорий донора, без доработки.

С этим уже можно будет работать, это луче чем отсутствие категорий как таковых.

[Vetlucky777]

Подскажите как можно такое реализовать.

в карточке каждого товара хочу выводить курс валют, этим модулем парсю сайт обменника дальше записываю курс в поле UPC и вывожу на сайте.

у меня 1000 товаров значит нужно делать столько дублей ссылок (но дубли не создаются), через поиск замену добавил все артикулы товаров куда записывать данные.

с одной ссылкой все работает и данные пишет только в один товар.

вопрос, можно модулем легче реализовать такую задумку? чтоб записать сразу во все товары одинаковые значения.

 

дополнительно тестил библиотеку PHP Simple HTML DOM Parser написал скрипт вроде все корректно парсит и записывает.

но такое хочу реализовать именно в этом модуле для гибкости настроек

[mirek]

Есть ли способ научить парсер парсить не товары, а например статьи блога WordPress? Вообще такое возможно реализовать посредством скриптов? 

[nikitishin]

Здравствуйте, подскажите как решить проблему с парсингом фото

Есть ссылка на фото 
/upload/resize_cache/iblock/de2/100_100_1b24bf9e35bfbc8de9fc7f31afe648f50/foto1.jpg

 

По даному пути открываеться фото с водяным знаком, 
Без водяного знака путь будет такой
/upload/iblock/de2/foto1.jpg

У меня прописано такое правило

.webp|.jpg
/resize_cache|
{reg[#/upload/iblock/[0-9]+x[0-9]+/(.*?)/#]}|/

Покока я получил такой путь
/upload/iblock/8dd/100_100_1b24bf9e35bfbc8de9fc7f31afe648f50/foto1.jpg

Подскажите как прописать регулярное выражение что убрать 100_100_1b24bf9e35bfbc8de9fc7f31afe648f50 
/8dd/ ета папка динамическая для разных фото
 

[Axelenz]

27.10.2023 в 10:55, nikitishin сказал:

Подскажите как прописать регулярное выражение что убрать 100_100_1b24bf9e35bfbc8de9fc7f31afe648f50 
/8dd/ ета папка динамическая для разных фото

Чтобы покороче написать, то можно использовать такое регулярное выражение:

(/resize_cache| - перед ним не нужно)

 

{reg[#resize_cache/(iblock/[^/]+/)[^/]+/([^.]+\.jpg)#]}|$1$2

 

а если заморочиться, то можно и так написать:

 

{reg[#resize_cache/(iblock/[^/]{3}/)[^/]{3,}/([^.]+\.[befgijpstvw]{3,4})#]}|$1$2

Змінено 27 жовтня 2023 користувачем Axelenz

[Rassol2]

17.10.2023 в 18:37, Vetlucky777 сказал:

Подскажите как можно такое реализовать.

в карточке каждого товара хочу выводить курс валют, этим модулем парсю сайт обменника дальше записываю курс в поле UPC и вывожу на сайте.

у меня 1000 товаров значит нужно делать столько дублей ссылок (но дубли не создаются), через поиск замену добавил все артикулы товаров куда записывать данные.

с одной ссылкой все работает и данные пишет только в один товар.

вопрос, можно модулем легче реализовать такую задумку? чтоб записать сразу во все товары одинаковые значения.

 

дополнительно тестил библиотеку PHP Simple HTML DOM Parser написал скрипт вроде все корректно парсит и записывает.

но такое хочу реализовать именно в этом модуле для гибкости настроек

С одной ссылки обновить несколько товаров нельзя.
Так же как и добавлять дубли ссылок и товаров. Это нарушает самую основу модуля. Написать скрипт который будет это делать можете.

[Rassol2]

27.10.2023 в 02:55, nikitishin сказал:

Здравствуйте, подскажите как решить проблему с парсингом фото

Есть ссылка на фото 
/upload/resize_cache/iblock/de2/100_100_1b24bf9e35bfbc8de9fc7f31afe648f50/foto1.jpg

 

По даному пути открываеться фото с водяным знаком, 
Без водяного знака путь будет такой
/upload/iblock/de2/foto1.jpg

У меня прописано такое правило

.webp|.jpg
/resize_cache|
{reg[#/upload/iblock/[0-9]+x[0-9]+/(.*?)/#]}|/

Покока я получил такой путь
/upload/iblock/8dd/100_100_1b24bf9e35bfbc8de9fc7f31afe648f50/foto1.jpg

Подскажите как прописать регулярное выражение что убрать 100_100_1b24bf9e35bfbc8de9fc7f31afe648f50 
/8dd/ ета папка динамическая для разных фото
 

Анука, я тоже поучаствую в вашем конкурсе.
Я бы сделал так.

Скрытый текст

 

Само правило.
resize_cache/|
/100_100_{skip}/|/
Я не сторонник усложнять решения без веской на то причины. Хотя по сути все решения будут работать с одной скорость, и давать тот же результат.
так что выбор всегда есть.

[Rudypit]

Привет, подскажите, а как можно открыть сайт с защитой. 
например сайт santehnika - online. ru 
На текущий момент не выводить сай в парсере, но и код который отображается не содержит данных по товарам. 
Даже при загрузке без кеша и без предпросмотра. 

Какое может быть решение?

[Rassol2]

27.10.2023 в 05:50, Rudypit сказал:

Привет, подскажите, а как можно открыть сайт с защитой. 
например сайт santehnika - online. ru 
На текущий момент не выводить сай в парсере, но и код который отображается не содержит данных по товарам. 
Даже при загрузке без кеша и без предпросмотра. 

Какое может быть решение?

Там используется JS, пока что никакой.
Сейчас это не обойти.

[nikitishin]

 

27.10.2023 в 11:45, Axelenz сказал:

Чтобы покороче написать, то можно использовать такое регулярное выражение:

(/resize_cache| - перед ним не нужно)

 

{reg[#resize_cache/(iblock/[^/]+/)[^/]+/([^.]+\.jpg)#]}|$1$2

 

а если заморочиться, то можно и так написать:

 

{reg[#resize_cache/(iblock/[^/]{3}/)[^/]{3,}/([^.]+\.[befgijpstvw]{3,4})#]}|$1$2

 

Спасибо, {reg[#resize_cache/(iblock/[^/]{3}/)[^/]{3,}/([^.]+\.[befgijpstvw]{3,4})#]}|$1$2

решило мою проблему. 

По остальным не пробывал. Но буду еще добавлять прайсы, протестирую отпушусь

[Rudypit]

27.10.2023 в 14:03, Rassol2 сказал:

Там используется JS, пока что никакой.
Сейчас это не обойти.

Понял, спасибо. 
Планируете реализацию? 

[Axelenz]

27.10.2023 в 13:25, Rassol2 сказал:

Само правило.
resize_cache/|
/100_100_{skip}/|/
Я не сторонник усложнять решения без веской на то причины. Хотя по сути все решения будут работать с одной скорость, и давать тот же результат.
так что выбор всегда есть.

Bitrix может хранить в кеше не только размер 100х100 потому я и нарисовал регулярку универсальную, не зависящую от размера, подходит практически на любой сайт... Ну или завтра захочет поставщик увеличить размер и сделать 200х150 и что ? А регулярка будет работать и завтра и через год...

[Rassol2]

27.10.2023 в 07:28, Axelenz сказал:

Bitrix может хранить в кеше не только размер 100х100 потому я и нарисовал регулярку универсальную, не зависящую от размера, подходит практически на любой сайт... Ну или завтра захочет поставщик увеличить размер и сделать 200х150 и что ? А регулярка будет работать и завтра и через год...

Все вы верно говорите.
Но скорее всего данные берутся с одного места. А сайты меняют размер привью аж никогда. Как перепарсивать фото с донора нужно аж никогда.
Но если такое произойдет можно зайти и поменять, раз в жизни.

Я не имею ничего против вашего решение оно со всех сторон лучше.
Я показал как я решаю эти задачи в реальных условиях. Минута решения готово и дальше, будут проблемы решу по мере поступления.

[vikvol]

Доброго дня. Маю 2 питання до спільноти на які не знайшов відповіді.

Прошу допомоги.

 

1. Є код товару типу 14429/34518. Мені його треба привести до вигляду 34518. Якою командою видалити лишній текст?

 

2. Для автоматичної індексації сторінок сайту використовую модуль Google Indexing Api. Якщо роблю зміни в карточці товару то посилання на товар попадають в модуль на індексацію. Якщо роблю зміни через модуль Simplepars то на жаль посилання не попадають на автоматичну індексацію. Розумію, що у модуля Simplepars зовсім інші задачі з якими він чудово справляється, але можливо є рішення щоб відправляти змінені сторінки в лист очікування на індексацію або хоча б витягнути звідкись останні змінені посилання на товар. 

[Axelenz]

27.10.2023 в 15:43, vikvol сказал:

1. Є код товару типу 14429/34518. Мені його треба привести до вигляду 34518. Якою командою видалити лишній текст?

{skip}/|

[Vetlucky777]

27.10.2023 в 13:22, Rassol2 сказал:

С одной ссылки обновить несколько товаров нельзя.
Так же как и добавлять дубли ссылок и товаров. Это нарушает самую основу модуля. Написать скрипт который будет это делать можете.

уже настроил) с сайта парсю курс валют в SKU одного товара. дальше написал скрипт который после парсинга копирует значение  SKU во все товары

[partshez]

Всем привет.  Помогите, пожалуйста, или натолкните на умную мысль. 

Есть атрибуты в товаре (description)   https://www.primark.com/es-es/p/pantalones-cargo-con-cordon-de-ajuste-color-caqui-991074562416

Не получается отфильтровать для загрузки только атрибуты со значением. Атрибуты без значения загружать не нужно.

 

,"nonSlip":"","rattle":"","sleeveLength":"","fastening":"Cordón de ajuste","legLength":"","fit":"Regular","neckline":"","hooded":"","hatStyle":"","scarfStyle":"","gloveStyle":"","weatherproof":"","recipient":"","occasion":"","numberOfPlayers":"","coord":"","strapType":"","togRating":"","assemblyRequired":"","fixingsIncluded":"","placeSettings":"","sizePaper":"","duvetSize":"","generalProductStatement":"","chokingHazard":"","strangulationHazard":"","ageRecommendation":"","fireSafety":"ADVERTENCIA: Mantener alejado del fuego.","batteries":"","scooterSafety":"","adultSupervision":"false","weightLimitPerLocale":"","tablewareSafeUsage":"","straws":"","babySoother":"","ukca":"","electricalCord":"","cordsOrChains":"","sunglassesFilter":"","numberOfPieces":"","materialComposition":"98 % algodón y 2 % elastano","bpaFree":false,"overturnWarning":"","lightbulb":"","plug":"","upperMaterial":"","midsoleMaterial":"","soleMaterial":"","tinted":"","outerShellMaterial":"","liningMaterial":"","filling":"","litresCapacityPerLocale":"","fabricFinish":"","foldableCollapsable":"","outdoor":"","batteryOperated":"","batteriesRequired":"","freeStanding":"","capacity":"","cableLength":"","batteriesIncluded":false,"collectionName":"","design":"Color liso","characters":"","style":"Pantalones","collection":"","pattern":"","gender":"Niños","licensor":"","property":"","character":"","sole":"","heelHeight":"","toeShape":"","jewelleryFinish":"","soleStyle":"","bikiniTopStyle":"","bikiniBottomStyle":"","removableStraps":"","targetArea":"","padding":"","knickerType":"","braType":"","denier":"","wired":"","thermoLayer":"","collar":"","adultSupervisionPerLocale":"","batteriesIncludedPerLocale":"",

 

"numberOfPlayers":""  Это атрибут без значения атрибута

"materialComposition":"98 % algodón y 2 % elastano"  Это нужный атрибут, имеющий значение атрибута

 

Применяю правило ,"{skip}":"{skip}"|$1{csvnc}$2{csvnc}  Но избавиться от пустых атрибутов не получается, не нашел решения.   https://prnt.sc/1blSGVvcE62i

Змінено 28 жовтня 2023 користувачем partshez

[Axelenz]

28.10.2023 в 15:13, partshez сказал:

Помогите, пожалуйста, или натолкните на умную мысль. 

Наталкиваю на мысль:

 

{reg[#"[^"]+":"",#]}|

 

Цитата

"numberOfPlayers":""  Это атрибут без значения атрибута

указанная регулярка удалит это

Змінено 28 жовтня 2023 користувачем Axelenz

[partshez]

28.10.2023 в 16:24, Axelenz сказал:

Наталкиваю на мысль:

 

{reg[#"[^"]+":"",#]}|

https://prnt.sc/Ab0R1Mh2eMsd  Огромное спасибо! Работает

Змінено 28 жовтня 2023 користувачем partshez

[sergej88]

Доброго дня.
Підкажіть як ви боретесь з дублями кодів товарів в прас листі XML формату.

Якщо код товару вже існує в базі даних перед парсингом, як визначити його до моменту парсингу?

Яким чином ви приймаєте рішення щодо подальшої обробки? Чи ви оновлюєте інформацію, чи ігноруєте дублікати, і як ви визначаєте оптимальний підхід для кожного конкретного випадку?

Варіант додавати якесь значення коду товару для всього прайс листа не підходить, так як в базі ІМ вже можуть бути товари данного постачальника
 

[partshez]

30.10.2023 в 11:31, sergej88 сказал:

Доброго дня.
Підкажіть як ви боретесь з дублями кодів товарів в прас листі XML формату.

Парсить по идентификатору Код товара. В этом случае дубли по коду товара созданы не будут. Товар с существующим на нашем сайте данным Кодом будет обновлен.

30.10.2023 в 11:31, sergej88 сказал:

Яким чином ви приймаєте рішення щодо подальшої обробки? 

Парсинг в ИМ. Настраиваются действия При Добавлении товара и отдельно При Обновлении товара

[sergej88]

30.10.2023 в 11:50, partshez сказал:

Парсить по идентификатору Код товара. В этом случае дубли по коду товара созданы не будут. Товар с существующим на нашем сайте данным Кодом будет обновлен.

Парсинг в ИМ. Настраиваются действия При Добавлении товара и отдельно При Обновлении товара

Я пробував наступним чином, якщо в мене в працсі є код товару який співпадає з кодом товару на сайті, то задавати йому через пошук заміну іd постачальника 
110500|15-110500
І навиході в нас такий результат з унікальним кодом 15-110500

Але якщо на сайті ще є код товару який містить таке значення (110500) то він також змінюється

786091105000

На
7860915-1105000