[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

  В 04.10.2023 в 16:54, cmamonov сказав:

Добрый вечер. Подскажите пожалуйста как сделать пирсинг в csv атрибуты ровно по столбцам? Что бы атрибут и его значение было только в одном столбце, а не разбросаны по разным столбцам? 

 

Expand  

Каждый атрибут в отдельной границе

[cmamonov]

  В 04.10.2023 в 17:17, partshez сказав:

Каждый атрибут в отдельной границе

Expand  

Что бы было ровненько. 

 

 

[partshez]

  В 04.10.2023 в 17:24, cmamonov сказав:

Что бы было ровненько. 

 

 

Expand  

Для каждого атрибута отдельную границу и отдельный столбик в csv

[Rassol2]

Обновление v4.9-9_beta
Улучшение построение в XML/YML дерева категорий.
По просьбе @Axelenz внедрил штучное преобразование дерева категорий от донора.
Очень часто дерево категорий приходит от донора битыми, раньше модуль мог составить дерево категорий только в том случаи если в выгрузке xml была корректная. И указывались правильно родительские категории донора.
Теперь же, если придет битое дерево категорий то модуль попробует исправить ошибку прайса и выдать дерево категорий.
Возможно некая погрешность в стартовой категории дерева, но при этого все равно будет 95%+ правильно составленных категорий.
Погрешность возможно там где битые категории, где все нормально модуль по прежнему будет выдавать результат на основе обработки категорий донора, без доработки.

С этим уже можно будет работать, это луче чем отсутствие категорий как таковых.

[Vetlucky777]

Подскажите как можно такое реализовать.

в карточке каждого товара хочу выводить курс валют, этим модулем парсю сайт обменника дальше записываю курс в поле UPC и вывожу на сайте.

у меня 1000 товаров значит нужно делать столько дублей ссылок (но дубли не создаются), через поиск замену добавил все артикулы товаров куда записывать данные.

с одной ссылкой все работает и данные пишет только в один товар.

вопрос, можно модулем легче реализовать такую задумку? чтоб записать сразу во все товары одинаковые значения.

 

дополнительно тестил библиотеку PHP Simple HTML DOM Parser написал скрипт вроде все корректно парсит и записывает.

но такое хочу реализовать именно в этом модуле для гибкости настроек

[mirek]

Есть ли способ научить парсер парсить не товары, а например статьи блога WordPress? Вообще такое возможно реализовать посредством скриптов? 

[nikitishin]

Здравствуйте, подскажите как решить проблему с парсингом фото

Есть ссылка на фото 
/upload/resize_cache/iblock/de2/100_100_1b24bf9e35bfbc8de9fc7f31afe648f50/foto1.jpg

 

По даному пути открываеться фото с водяным знаком, 
Без водяного знака путь будет такой
/upload/iblock/de2/foto1.jpg

У меня прописано такое правило

.webp|.jpg
/resize_cache|
{reg[#/upload/iblock/[0-9]+x[0-9]+/(.*?)/#]}|/

Покока я получил такой путь
/upload/iblock/8dd/100_100_1b24bf9e35bfbc8de9fc7f31afe648f50/foto1.jpg

Подскажите как прописать регулярное выражение что убрать 100_100_1b24bf9e35bfbc8de9fc7f31afe648f50 
/8dd/ ета папка динамическая для разных фото
 

[Axelenz]

  В 27.10.2023 в 07:55, nikitishin сказав:

Подскажите как прописать регулярное выражение что убрать 100_100_1b24bf9e35bfbc8de9fc7f31afe648f50 
/8dd/ ета папка динамическая для разных фото

Expand  

Чтобы покороче написать, то можно использовать такое регулярное выражение:

(/resize_cache| - перед ним не нужно)

 

{reg[#resize_cache/(iblock/[^/]+/)[^/]+/([^.]+\.jpg)#]}|$1$2

 

а если заморочиться, то можно и так написать:

 

{reg[#resize_cache/(iblock/[^/]{3}/)[^/]{3,}/([^.]+\.[befgijpstvw]{3,4})#]}|$1$2

Змінено 27 жовтня 2023 користувачем Axelenz

[Rassol2]

  В 17.10.2023 в 23:37, Vetlucky777 сказав:

Подскажите как можно такое реализовать.

в карточке каждого товара хочу выводить курс валют, этим модулем парсю сайт обменника дальше записываю курс в поле UPC и вывожу на сайте.

у меня 1000 товаров значит нужно делать столько дублей ссылок (но дубли не создаются), через поиск замену добавил все артикулы товаров куда записывать данные.

с одной ссылкой все работает и данные пишет только в один товар.

вопрос, можно модулем легче реализовать такую задумку? чтоб записать сразу во все товары одинаковые значения.

 

дополнительно тестил библиотеку PHP Simple HTML DOM Parser написал скрипт вроде все корректно парсит и записывает.

но такое хочу реализовать именно в этом модуле для гибкости настроек

Expand  

С одной ссылки обновить несколько товаров нельзя.
Так же как и добавлять дубли ссылок и товаров. Это нарушает самую основу модуля. Написать скрипт который будет это делать можете.

[Rassol2]

  В 27.10.2023 в 07:55, nikitishin сказав:

Здравствуйте, подскажите как решить проблему с парсингом фото

Есть ссылка на фото 
/upload/resize_cache/iblock/de2/100_100_1b24bf9e35bfbc8de9fc7f31afe648f50/foto1.jpg

 

По даному пути открываеться фото с водяным знаком, 
Без водяного знака путь будет такой
/upload/iblock/de2/foto1.jpg

У меня прописано такое правило

.webp|.jpg
/resize_cache|
{reg[#/upload/iblock/[0-9]+x[0-9]+/(.*?)/#]}|/

Покока я получил такой путь
/upload/iblock/8dd/100_100_1b24bf9e35bfbc8de9fc7f31afe648f50/foto1.jpg

Подскажите как прописать регулярное выражение что убрать 100_100_1b24bf9e35bfbc8de9fc7f31afe648f50 
/8dd/ ета папка динамическая для разных фото
 

Expand  

Анука, я тоже поучаствую в вашем конкурсе.
Я бы сделал так.

  Показати вміст

 

Само правило.
resize_cache/|
/100_100_{skip}/|/
Я не сторонник усложнять решения без веской на то причины. Хотя по сути все решения будут работать с одной скорость, и давать тот же результат.
так что выбор всегда есть.

[Rudypit]

Привет, подскажите, а как можно открыть сайт с защитой. 
например сайт santehnika - online. ru 
На текущий момент не выводить сай в парсере, но и код который отображается не содержит данных по товарам. 
Даже при загрузке без кеша и без предпросмотра. 

Какое может быть решение?

[Rassol2]

  В 27.10.2023 в 10:50, Rudypit сказав:

Привет, подскажите, а как можно открыть сайт с защитой. 
например сайт santehnika - online. ru 
На текущий момент не выводить сай в парсере, но и код который отображается не содержит данных по товарам. 
Даже при загрузке без кеша и без предпросмотра. 

Какое может быть решение?

Expand  

Там используется JS, пока что никакой.
Сейчас это не обойти.

[nikitishin]

 

  В 27.10.2023 в 08:45, Axelenz сказав:

Чтобы покороче написать, то можно использовать такое регулярное выражение:

(/resize_cache| - перед ним не нужно)

 

{reg[#resize_cache/(iblock/[^/]+/)[^/]+/([^.]+\.jpg)#]}|$1$2

 

а если заморочиться, то можно и так написать:

 

{reg[#resize_cache/(iblock/[^/]{3}/)[^/]{3,}/([^.]+\.[befgijpstvw]{3,4})#]}|$1$2

Expand  

 

Спасибо, {reg[#resize_cache/(iblock/[^/]{3}/)[^/]{3,}/([^.]+\.[befgijpstvw]{3,4})#]}|$1$2

решило мою проблему. 

По остальным не пробывал. Но буду еще добавлять прайсы, протестирую отпушусь

[Rudypit]

  В 27.10.2023 в 11:03, Rassol2 сказав:

Там используется JS, пока что никакой.
Сейчас это не обойти.

Expand  

Понял, спасибо. 
Планируете реализацию? 

[Axelenz]

  В 27.10.2023 в 10:25, Rassol2 сказав:

Само правило.
resize_cache/|
/100_100_{skip}/|/
Я не сторонник усложнять решения без веской на то причины. Хотя по сути все решения будут работать с одной скорость, и давать тот же результат.
так что выбор всегда есть.

Expand  

Bitrix может хранить в кеше не только размер 100х100 потому я и нарисовал регулярку универсальную, не зависящую от размера, подходит практически на любой сайт... Ну или завтра захочет поставщик увеличить размер и сделать 200х150 и что ? А регулярка будет работать и завтра и через год...

[Rassol2]

  В 27.10.2023 в 12:28, Axelenz сказав:

Bitrix может хранить в кеше не только размер 100х100 потому я и нарисовал регулярку универсальную, не зависящую от размера, подходит практически на любой сайт... Ну или завтра захочет поставщик увеличить размер и сделать 200х150 и что ? А регулярка будет работать и завтра и через год...

Expand  

Все вы верно говорите.
Но скорее всего данные берутся с одного места. А сайты меняют размер привью аж никогда. Как перепарсивать фото с донора нужно аж никогда.
Но если такое произойдет можно зайти и поменять, раз в жизни.

Я не имею ничего против вашего решение оно со всех сторон лучше.
Я показал как я решаю эти задачи в реальных условиях. Минута решения готово и дальше, будут проблемы решу по мере поступления.

[vikvol]

Доброго дня. Маю 2 питання до спільноти на які не знайшов відповіді.

Прошу допомоги.

 

1. Є код товару типу 14429/34518. Мені його треба привести до вигляду 34518. Якою командою видалити лишній текст?

 

2. Для автоматичної індексації сторінок сайту використовую модуль Google Indexing Api. Якщо роблю зміни в карточці товару то посилання на товар попадають в модуль на індексацію. Якщо роблю зміни через модуль Simplepars то на жаль посилання не попадають на автоматичну індексацію. Розумію, що у модуля Simplepars зовсім інші задачі з якими він чудово справляється, але можливо є рішення щоб відправляти змінені сторінки в лист очікування на індексацію або хоча б витягнути звідкись останні змінені посилання на товар. 

[Axelenz]

  В 27.10.2023 в 12:43, vikvol сказав:

1. Є код товару типу 14429/34518. Мені його треба привести до вигляду 34518. Якою командою видалити лишній текст?

Expand  

{skip}/|

[Vetlucky777]

  В 27.10.2023 в 10:22, Rassol2 сказав:

С одной ссылки обновить несколько товаров нельзя.
Так же как и добавлять дубли ссылок и товаров. Это нарушает самую основу модуля. Написать скрипт который будет это делать можете.

Expand  

уже настроил) с сайта парсю курс валют в SKU одного товара. дальше написал скрипт который после парсинга копирует значение  SKU во все товары

[partshez]

Всем привет.  Помогите, пожалуйста, или натолкните на умную мысль. 

Есть атрибуты в товаре (description)   https://www.primark.com/es-es/p/pantalones-cargo-con-cordon-de-ajuste-color-caqui-991074562416

Не получается отфильтровать для загрузки только атрибуты со значением. Атрибуты без значения загружать не нужно.

 

,"nonSlip":"","rattle":"","sleeveLength":"","fastening":"Cordón de ajuste","legLength":"","fit":"Regular","neckline":"","hooded":"","hatStyle":"","scarfStyle":"","gloveStyle":"","weatherproof":"","recipient":"","occasion":"","numberOfPlayers":"","coord":"","strapType":"","togRating":"","assemblyRequired":"","fixingsIncluded":"","placeSettings":"","sizePaper":"","duvetSize":"","generalProductStatement":"","chokingHazard":"","strangulationHazard":"","ageRecommendation":"","fireSafety":"ADVERTENCIA: Mantener alejado del fuego.","batteries":"","scooterSafety":"","adultSupervision":"false","weightLimitPerLocale":"","tablewareSafeUsage":"","straws":"","babySoother":"","ukca":"","electricalCord":"","cordsOrChains":"","sunglassesFilter":"","numberOfPieces":"","materialComposition":"98 % algodón y 2 % elastano","bpaFree":false,"overturnWarning":"","lightbulb":"","plug":"","upperMaterial":"","midsoleMaterial":"","soleMaterial":"","tinted":"","outerShellMaterial":"","liningMaterial":"","filling":"","litresCapacityPerLocale":"","fabricFinish":"","foldableCollapsable":"","outdoor":"","batteryOperated":"","batteriesRequired":"","freeStanding":"","capacity":"","cableLength":"","batteriesIncluded":false,"collectionName":"","design":"Color liso","characters":"","style":"Pantalones","collection":"","pattern":"","gender":"Niños","licensor":"","property":"","character":"","sole":"","heelHeight":"","toeShape":"","jewelleryFinish":"","soleStyle":"","bikiniTopStyle":"","bikiniBottomStyle":"","removableStraps":"","targetArea":"","padding":"","knickerType":"","braType":"","denier":"","wired":"","thermoLayer":"","collar":"","adultSupervisionPerLocale":"","batteriesIncludedPerLocale":"",

 

"numberOfPlayers":""  Это атрибут без значения атрибута

"materialComposition":"98 % algodón y 2 % elastano"  Это нужный атрибут, имеющий значение атрибута

 

Применяю правило ,"{skip}":"{skip}"|$1{csvnc}$2{csvnc}  Но избавиться от пустых атрибутов не получается, не нашел решения.   https://prnt.sc/1blSGVvcE62i

Змінено 28 жовтня 2023 користувачем partshez

[Axelenz]

  В 28.10.2023 в 12:13, partshez сказав:

Помогите, пожалуйста, или натолкните на умную мысль. 

Expand  

Наталкиваю на мысль:

 

{reg[#"[^"]+":"",#]}|

 

  Цитата

"numberOfPlayers":""  Это атрибут без значения атрибута

Expand  

указанная регулярка удалит это

Змінено 28 жовтня 2023 користувачем Axelenz

[partshez]

  В 28.10.2023 в 13:24, Axelenz сказав:

Наталкиваю на мысль:

 

{reg[#"[^"]+":"",#]}|

Expand  

https://prnt.sc/Ab0R1Mh2eMsd  Огромное спасибо! Работает

Змінено 28 жовтня 2023 користувачем partshez

[sergej88]

Доброго дня.
Підкажіть як ви боретесь з дублями кодів товарів в прас листі XML формату.

Якщо код товару вже існує в базі даних перед парсингом, як визначити його до моменту парсингу?

Яким чином ви приймаєте рішення щодо подальшої обробки? Чи ви оновлюєте інформацію, чи ігноруєте дублікати, і як ви визначаєте оптимальний підхід для кожного конкретного випадку?

Варіант додавати якесь значення коду товару для всього прайс листа не підходить, так як в базі ІМ вже можуть бути товари данного постачальника
 

[partshez]

  В 30.10.2023 в 09:31, sergej88 сказав:

Доброго дня.
Підкажіть як ви боретесь з дублями кодів товарів в прас листі XML формату.

Expand  

Парсить по идентификатору Код товара. В этом случае дубли по коду товара созданы не будут. Товар с существующим на нашем сайте данным Кодом будет обновлен.

  В 30.10.2023 в 09:31, sergej88 сказав:

Яким чином ви приймаєте рішення щодо подальшої обробки? 

Expand  

Парсинг в ИМ. Настраиваются действия При Добавлении товара и отдельно При Обновлении товара

[sergej88]

  В 30.10.2023 в 09:50, partshez сказав:

Парсить по идентификатору Код товара. В этом случае дубли по коду товара созданы не будут. Товар с существующим на нашем сайте данным Кодом будет обновлен.

Парсинг в ИМ. Настраиваются действия При Добавлении товара и отдельно При Обновлении товара

Expand  

Я пробував наступним чином, якщо в мене в працсі є код товару який співпадає з кодом товару на сайті, то задавати йому через пошук заміну іd постачальника 
110500|15-110500
І навиході в нас такий результат з унікальним кодом 15-110500

Але якщо на сайті ще є код товару який містить таке значення (110500) то він також змінюється

786091105000

На
7860915-1105000