[Поддержка] SimplePars - Универсальный парсер для ИМ

[lerand]

Доброе утро!

 

Возникло несколько вопросов в процессе организации парсинга в csv:

 

1) Какое выражение можно/нужно построить, чтобы в проверке границ можно было использовать несколько значений, чтобы хотя бы одно из значений перечисленных в поле "С чем сравнивать"? 

Пример: мне нужны в таблице только товары от условных производителей Один и Два. По факту же производителей гораздо больше. 

 

Спойлер

 

2) Подзапутался с "Границей проверки" в части понимания работы настройки "Когда проверять". Мне нужно, чтобы файл csv формировался на регулярной основе (раз в сутки) по крону. Если я выбираю "Добавление и обновление" - в таблицу идут все товары без учета проверки границы. Проверка границы работает только при выставлении поля "Когда проверять" в "Парсинг в csv". Не совсем понимаю логику. Мне нужно первичный парсинг провести в режиме "Парсинг в csv" и затем уже для крона переключиться в режим "Добавление и обновление"? Для меня, как для обывателя, "парсинг в csv" равняется "добавление".

 

Спойлер

 

3) В таблице в строку товара необходимо ввести "интеллектуальную" ячейку доставка с условием: если граница {цена} больше определенной суммы значение ячейки равно 0, а если меньше или равно определенной суммы значение в таком случае равно 300 руб. Каким образом это можно организовать? Хотелось бы это сделать "на лету", чтобы после формирования файла CSV  не нужно было прописывать формулы руками.

 

Спойлер

 

Заранее благодарен

Змінено 17 березня 2021 користувачем lerand

[Reanimaster]

7 часов назад, Ayvars сказал:

К примеру, если в границах есть «в наличии», указывай - в наличии...

В поиске/замене можно хоть слона на моську поменять.

[partshez]

7 часов назад, Ayvars сказал:

Добрый день! 

У сайта-донора наличие товара в магазине указывается в трех строках, к примеру(скрин прикладываю):

склад 1 - в наличии 

склад 2 - нет в наличии 

склад 3 - нет в наличии
Подскажите, пожалуйста, можно ли как-то реализовать, чтобы парсер проставлял на основании этих строк в карточке товара «в наличии», или может быть это можно реализовать в опциях?

К сожалению, не нашёл информации. Парсер умеет работать с условиями? 
К примеру, если в границах есть «в наличии», указывай - в наличии...

 

Спасибо!

http://prntscr.com/10nucu9   А дальше работаете уже с цифрами, как угодно. http://prntscr.com/10nueag

Змінено 17 березня 2021 користувачем partshez

[partshez]

1 час назад, lerand сказал:

1) Какое выражение можно/нужно построить, чтобы в проверке границ можно было использовать несколько значений, чтобы хотя бы одно из значений перечисленных в поле "С чем сравнивать"? 

Пример: мне нужны в таблице только товары от условных производителей Один и Два. По факту же производителей гораздо больше. 

 

  Скрыть контент

Загрузить если. РАВНО используется только для цифр. Для букв, слов используем Содержит или Не содержит. У Вас правило на скрине работать не будет.

1 час назад, lerand сказал:

В таблице в строку товара необходимо ввести "интеллектуальную" ячейку доставка с условием: если граница {цена} больше определенной суммы значение ячейки равно 0, а если меньше или равно определенной суммы значение в таком случае равно 300 руб. Каким образом это можно организовать? Хотелось бы это сделать "на лету", чтобы после формирования файла CSV  не нужно было прописывать формулы руками.

Поиграться с Наценкой. Типа, (0-5000)=300...  (5000-999999999)=0

Точно не знаю, но алгоритм такой я бы попробовал

Или округление  https://simplepars.top/index.php?page=note&n=5

 

Змінено 17 березня 2021 користувачем partshez

[lerand]

3 минуты назад, partshez сказал:

Загрузить если. РАВНО используется только для цифр. Для букв, слов используем Содержит или Не содержит. У Вас правило на скрине работать не будет.

 

Правило на скрине работает... Другой нюанс, что кроме производителя TOR, мне нужен и еще один производитель...

 

4 минуты назад, partshez сказал:

Поиграться с Наценкой. Типа, (0-5000)=300...  (5000-999999999)=0

Точно не знаю, но алгоритм такой я бы попробовал

 

Логику я понимаю  Я не знаю, как синтаксически это выразить...

[Reanimaster]

1 час назад, lerand сказал:

1) Какое выражение можно/нужно построить, чтобы в проверке границ можно было использовать несколько значений

 

{reg[#одушк|остель|деял|плед|окрывал|простын#ui]}

 

Вот прям сейчас делаю такое

[Rassol2]

1 час назад, lerand сказал:

1) Какое выражение можно/нужно построить, чтобы в проверке границ можно было использовать несколько значений, чтобы хотя бы одно из значений перечисленных в поле "С чем сравнивать"? 

Пример: мне нужны в таблице только товары от условных производителей Один и Два. По факту же производителей гораздо больше. 

Здравствуйте.

Берем границу парсинга, и все значение что вам нужно.
И в поиск замене делаем все нужные вам значения заменяем на цифру один (1)
А в проверке границы проверяем если в границе стоит цифра один значит все хорошо грузим, если что то другое пропускаем.
Таким образом вы можете парсить по определенному списку, этот списко задается в границе в поле поиск замена.

 

2 часа назад, lerand сказал:

2) Подзапутался с "Границей проверки" в части понимания работы настройки "Когда проверять". Мне нужно, чтобы файл csv формировался на регулярной основе (раз в сутки) по крону. Если я выбираю "Добавление и обновление" - в таблицу идут все товары без учета проверки границы. Проверка границы работает только при выставлении поля "Когда проверять" в "Парсинг в csv". Не совсем понимаю логику. Мне нужно первичный парсинг провести в режиме "Парсинг в csv" и затем уже для крона переключиться в режим "Добавление и обновление"? Для меня, как для обывателя, "парсинг в csv" равняется "добавление".

Правила допуска в работе с прайсами доступно п режиме Парсинг в CSV
Остальные относятся к парсингу в ИМ

 

2 часа назад, lerand сказал:

3) В таблице в строку товара необходимо ввести "интеллектуальную" ячейку доставка с условием: если граница {цена} больше определенной суммы значение ячейки равно 0, а если меньше или равно определенной суммы значение в таком случае равно 300 руб. Каким образом это можно организовать? Хотелось бы это сделать "на лету", чтобы после формирования файла CSV  не нужно было прописывать формулы руками.

как вам уже правильно подсказали это возможно сделать, делайте через наценку
https://simplepars.top/index.php?page=note&n=4

[lerand]

Спасибо

[begetflame]

Проблема с парсингом опции цены. Спарсить удается только вот такие строчки(фото) где цена на одну и ту же опцию (например Размер 200х210 Цена 50000) повторяются 5 раз. Соответственно в выборе появляются 5 дублей каждого размера. Как то модуль может с этим бороться? Регулярки вроде же не могут дубли искать....

Спойлер

!========== Повторение [№1] ========= Разделитель [{csvnc}] ========== !

:{"ID":"36169122","VALUE":100990,"DISCOUNT_VALUE":80790,"DISCOUNT_DIFF":20200,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"100 990","PRINT_DISCOUNT_VALUE":"80 790"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb922a7-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"200

!========== Повторение [№2] ========= Разделитель [{csvnc}] ========== !

:{"ID":"36169079","VALUE":100990,"DISCOUNT_VALUE":80790,"DISCOUNT_DIFF":20200,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"100 990","PRINT_DISCOUNT_VALUE":"80 790"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb922a5-420d-11e8-a551-2c768a5115e1","DLINA":"210","SHIRINA":"200

!========== Повторение [№3] ========= Разделитель [{csvnc}] ========== !

:{"ID":"36169067","VALUE":96990,"DISCOUNT_VALUE":77590,"DISCOUNT_DIFF":19400,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"96 990","PRINT_DISCOUNT_VALUE":"77 590"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb9229f-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"180

!========== Повторение [№4] ========= Разделитель [{csvnc}] ========== !

:{"ID":"36169022","VALUE":96990,"DISCOUNT_VALUE":77590,"DISCOUNT_DIFF":19400,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"96 990","PRINT_DISCOUNT_VALUE":"77 590"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb9229d-420d-11e8-a551-2c768a5115e1","DLINA":"210","SHIRINA":"180

!========== Повторение [№5] ========= Разделитель [{csvnc}] ========== !

:{"ID":"36169010","VALUE":92990,"DISCOUNT_VALUE":74390,"DISCOUNT_DIFF":18600,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"92 990","PRINT_DISCOUNT_VALUE":"74 390"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb92295-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"160

!========== Повторение [№6] ========= Разделитель [{csvnc}] ========== !

:{"ID":"36168967","VALUE":92990,"DISCOUNT_VALUE":74390,"DISCOUNT_DIFF":18600,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"92 990","PRINT_DISCOUNT_VALUE":"74 390"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1cb92293-420d-11e8-a551-2c768a5115e1","DLINA":"210","SHIRINA":"160

!========== Повторение [№7] ========= Разделитель [{csvnc}] ========== !

:{"ID":"36168955","VALUE":87990,"DISCOUNT_VALUE":70390,"DISCOUNT_DIFF":17600,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"87 990","PRINT_DISCOUNT_VALUE":"70 390"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1687c9b7-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"140

!========== Повторение [№8] ========= Разделитель [{csvnc}] ========== !

:{"ID":"36168910","VALUE":87990,"DISCOUNT_VALUE":70390,"DISCOUNT_DIFF":17600,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"87 990","PRINT_DISCOUNT_VALUE":"70 390"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1687c9b5-420d-11e8-a551-2c768a5115e1","DLINA":"210","SHIRINA":"140

!========== Повторение [№9] ========= Разделитель [{csvnc}] ========== !

:{"ID":"36168898","VALUE":100990,"DISCOUNT_VALUE":80790,"DISCOUNT_DIFF":20200,"DISCOUNT_DIFF_PERCENT":20,"PRINT_VALUE":"100 990","PRINT_DISCOUNT_VALUE":"80 790"},"XML_ID":"8c2b5b90-420a-11e8-a551-2c768a5115e1#1687c9af-420d-11e8-a551-2c768a5115e1","DLINA":"220","SHIRINA":"200

 

Змінено 17 березня 2021 користувачем begetflame

[kostya242]

В 13.03.2021 в 15:07, kostya242 сказал:

 

Не совсем так.. Я вручную, по самым покупаемым товарам, иногда проставляю более низкие цены для привлечения внимания.

 

 

  Показать контент

 

 

При очередном обходе парсером таких товаров - акционная цена удаляется

 

Может есть способ обойти эту проблему, что парсер при обновлении удаляет акционную цену?

[lerand]

Еще вопрос:

 

CSV файл будет регулярно обновляться и будет доступен по ссылке. Чтобы не пугать человека, который будет работать с этим, нужно ввести дополнительную колонку в таблицу - Дата. Тогда человек будет всегда четко понимать, что эта таблица свежая.

 

Как можно сформировать границы с актуальной датой на момент формирования/обновления таблицы?

 

[Rassol2]

12 минут назад, begetflame сказал:

Проблема с парсингом опции цены. Спарсить удается только вот такие строчки(фото) где цена на одну и ту же опцию (например Размер 200х210 Цена 50000) повторяются 5 раз. Соответственно в выборе появляются 5 дублей каждого размера. Как то модуль может с этим бороться? Регулярки вроде же не могут дубли искать....

Здравствуйте
можете удалять повторяющиеся строки.
https://simplepars.top/index.php?page=note&n=37

так что думаю и ваш вариант можно решить, правда так сильно регулярных выражениях я не разбираюсь.

[Rassol2]

12 минут назад, kostya242 сказал:

Может есть способ обойти эту проблему, что парсер при обновлении удаляет акционную цену?

В файле /admin/model/catalog/simplepars.php
найдите и удалите вот этот участок кода.
 

Спойлер

и модуль перестанет удалять и обновлять акцеонные цены.

[Rassol2]

12 минут назад, lerand сказал:

Еще вопрос:

 

CSV файл будет регулярно обновляться и будет доступен по ссылке. Чтобы не пугать человека, который будет работать с этим, нужно ввести дополнительную колонку в таблицу - Дата. Тогда человек будет всегда четко понимать, что эта таблица свежая.

 

Как можно сформировать границы с актуальной датой на момент формирования/обновления таблицы?

 

Встроенной фунции модуля по формировании даты нет, так что только если на странице донора брать актуальную дату, или еше как то.
То есть встроенной функции, получить текущую дату, нет.

[begetflame]

Что произойдет если совпадут артикулы у двух проектов? Товар будет перезаписываться каждый раз на тот который последним спарсил?

[partshez]

16 минут назад, begetflame сказал:

Что произойдет если совпадут артикулы у двух проектов? Товар будет перезаписываться каждый раз на тот который последним спарсил?

Да. Можно настроить какие поля будут обновляться, какие не будут.

Один проект добавляет все, кроме цены, например. А второй только цену обновляет.

[Rassol2]

44 минуты назад, begetflame сказал:

Что произойдет если совпадут артикулы у двух проектов? Товар будет перезаписываться каждый раз на тот который последним спарсил?

Все зависит от действия что вы выберите.
Допустим стоит действие обновить цену.

В данном случаи цена будет у товара та которая последней спарсилась.
Но а вообще есть возможность разделять идентификаторы между проектами, просто добавив приставку к идентификатору.

[begetflame]

8 часов назад, Rassol2 сказал:

Здравствуйте
можете удалять повторяющиеся строки.
https://simplepars.top/index.php?page=note&n=37

так что думаю и ваш вариант можно решить, правда так сильно регулярных выражениях я не разбираюсь.

Мучаюсь мучаюсь никак не выходит. Проясните один момент. Когда я применяю "Правила поиск замены" оно применяется ко всему тексту или только к повторению? Потому что если оно поочередно применяется к каждому повторению, то как я смогу отсечь повторяющиеся строки. Ведь получается их там просто нет

[Rassol2]

22 минуты назад, begetflame сказал:

Мучаюсь мучаюсь никак не выходит. Проясните один момент. Когда я применяю "Правила поиск замены" оно применяется ко всему тексту или только к повторению?

Только к повторению. Весь набор правил применяется к каждой итерации по отдельности. Затем составляется одна общая строка для финального пред просмотра и она же передается в границу парсинга.
 

 

23 минуты назад, begetflame сказал:

Потому что если оно поочередно применяется к каждому повторению, то как я смогу отсечь повторяющиеся строки. Ведь получается их там просто нет

Вы можете изменить подход формирован с повторяющихся на обычную.
Затем за счет поиск замены добится той же структуры данных что и после выполнения повторений. И добавить правило которое будет вырезать одинаковые вхождения.
 

[Rassol2]

Обновление v4.3_stable

Уже больше недели нет сообщений об критических ошибках. Странно, возможно новый функционал неплохо обкатали.
Так что выпускаю новую стабильную версию!
Обратите внимание кто будет обновятся с v4.1-3 и ниже вам стоит прочитать все новшества так как переход на эту версию требует проверки настроек под новые возможности.
Изменена логика работы разделителя в повторяющихся границах парсинга, и это нужно учесть в ваших проектах, после обновления.

 

Ссылки на все изменения под спойлером.

Спойлер

Обновление v4.2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1685461

 

Обновление v4.2-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1692253

 

Обновление v4.2-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1692786

 

Обновление v4.2-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1695332

 

Обновление v4.2-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1697159

 

Обновление v4.2-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1698981

 

Обновление v4.2-6_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1700997

 

Обновление v4.2-7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1704004

 

Обновление v4.2-8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1705835

Так же в этой версии доработан фильтр по категориями в редакторе товаров.
Теперь у вас есть возможность в редакторе товаров отобрать товары где не указаны категории.
 

Спойлер

Вот этот функционал стоит обкатать. И проверить детальнее перед использованием. Я провел ряд тестов. Но был бы признателен если вы у себя отдельно проверите работу этой фичи и дадите фидбек.

После выхода стабильной версии классически перехожу к глобальным фишкам в модуль.

 

[partshez]

И какие глобальные фишки можно ожидать в перспективе? 

[Rassol2]

И какие глобальные фишки можно ожидать в перспективе? 

Авторизация по крону и расширение возможностей модуля при помощи собственных скриптов.

Отправлено с телефона через Tapatalk

[partshez]

3 минуты назад, Rassol2 сказал:

Авторизация по крону и расширение возможностей модуля при помощи собственных скриптов.

Отправлено с телефона через Tapatalk
 

[Reanimaster]

Добрый день. Подскажите, как можно выключить проверку дублей при загрузке опций?

[begetflame]

17 часов назад, Rassol2 сказал:

Только к повторению. Весь набор правил применяется к каждой итерации по отдельности. Затем составляется одна общая строка для финального пред просмотра и она же передается в границу парсинга.
 

 

Вы можете изменить подход формирован с повторяющихся на обычную.
Затем за счет поиск замены добится той же структуры данных что и после выполнения повторений. И добавить правило которое будет вырезать одинаковые вхождения.
 

Уже попробовал. У меня проблема в том что повторяющиеся строки не по порядку идут а вот так:

Строка1

Строка2

Строка3

Строка1

Строка2