[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

11 минут назад, vh7 сказал:

"Я не волшебник - я только учюсь)" Не знал, что {csvnc} а это уже не пусто и не 0. В связи с этим вопрос: можно ли записать, как в моём случае, два атрибута, чтобы у первого было одно из четырёх значений, а у второго - одно?

Да можно тогда значения должны быть в отдельной границы парсига. и для каждого атрибута внутри границы уже определяется или {|}
Обратите внимания что модуль поддерживает это уже на уровне поиск замены.
просто в результате обработки он не может вам показать конечный результат.
Но можно написать в правилах так.
{reg[^$]}|{gran_2}
то есть если граница пустая, то в неё записываем значение из границы 2

По сути то что вы спросили, если я все верно понял.
И таким образом вы можете указать в атрибуте границу {gran_1} но если она пустая, то в ней из за оператора {|} будет значение границы {gran_2}

[Motchanyy]

В 19.06.2021 в 10:42, Rassol2 сказал:

Здравствуйте.
А что подразумевается под интеграцией ?

Чтобы при выгрузке можно было внести допустим объем.

[Rassol2]

1 час назад, Motchanyy сказал:

Чтобы при выгрузке можно было внести допустим объем.

Но это же не задача парсера.
Модуль парсер должен принести в товар новые денные.
А как другие будут с этими данными работать, это вопрос уже к тем другим.

Если вы имели в виду внесения данных в тот фильтр.
Потому что если речь не про фильтр то я не понимаю в чем сейчас проблема у вас.

[partshez]

В 29.06.2021 в 17:16, asokr сказал:

Подскажите, как поступить - у поставщика акционная цена в процентах (<param name="Процент скидки">30%</param>).

Как в этом случае настроить акцию?

Если использовать в поле формулу

100{-}{gran_38}{*}{gran_5}{/}100

Где _38 процент скидки и _5 цена товара. То получаем ерунду при пустой 5-ой границе.

Или формула не верная? Или как проверить _5 на пустоту? (((

Решил я Вашу задачку. Смотрите. Проверяйте. Отпишитесь о результате, пожалуйста

Основная цена - Ваша {gran_5}. Акция Процент - Ваша {gran_38}. Дальше смотрите Поиск/замену и настройки акционной цены в Парсинг в ИМ

 

 

Акция процент.json

Змінено 30 червня 2021 користувачем partshez

[vh7]

21 година назад, Rassol2 сказав:

Да можно тогда значения должны быть в отдельной границы парсига. и для каждого атрибута внутри границы уже определяется или {|}
Обратите внимания что модуль поддерживает это уже на уровне поиск замены.
просто в результате обработки он не может вам показать конечный результат.
Но можно написать в правилах так.
{reg[^$]}|{gran_2}
то есть если граница пустая, то в неё записываем значение из границы 2

По сути то что вы спросили, если я все верно понял.
И таким образом вы можете указать в атрибуте границу {gran_1} но если она пустая, то в ней из за оператора {|} будет значение границы {gran_2}

Я не упомянул важную деталь. В каждом товаре присутствует только один из трёх атрибутов (у производителя в xml размер может называться тремя разными способами, поэтому пришлось завести три разных поля, которые по сути показывают одно и то же - размер). После нескольких экспериментов я понял, что регулярное выражение не будет работать так как похоже оно ищет в товаре второй или третий атрибут, которых там нет. В результате парсинг останавливается на первом офере (или на пяти, если в пять потоков). Пока самое простое, что пришло в голову - это указать в атрубуте все три возможных значения подряд. В результате модуль показывает одно из них, так как двух других он в офере не находит. Как вставить "универсальный" туда где размера нет вообще, я не придумал, поэтому сделал так, чтобы в таком случае атрибут вообще не заводился. 

В любом случае, спасибо за помощь. Ваш ответ помог мне лучше понять последовательность работы модуля.

[nebo]

Ребят, подскажите, в чем может быть проблема?

Не удается сохранить данные во вкладке "Настройка запросов".

В какой-то из предыдущих версий модуля сохранил эти настройки, обновил модуль, теперь немогу ни удалить ни изменить. После любого действия, жму кнопку "сохранить", и в ответ это сообщение:

 

Fatal error: Uncaught exception 'Exception' with message 'Error: Unknown column 'auth_use' in 'field list'<br />Error No: 1054<br />UPDATE `oc_pars_browser` SET proxy_use = 0, timeout = 20, connect_timeout = 20, protocol_version = 2, header_get = 0, followlocation = 1, cookie_use = 0, cookie_up = 0, user_agent_use = 0, user_agent_change = 0, user_agent_list = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4348.0 Safari/537.36\r\nMozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36\r\nMozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', header_use = 0, header_change = 0, header_list = 'cookie: lang=RU; cookie_iagree=1; lastVehicleMake=4491141319; _fbp=fb.1.1607500880207.1660884675; firstrun=F; VehicleName=skoda-superb-ii-3t4-1-6-tdi; lastVehicleType=449119161417; lastVehicleModel=449120182121; lastVehicleName=skoda-superb-ii-3 in /***/***/site***/storage/modification/system/library/db/mysqli.php on line 43

 

---------------

Также, не работает импорт настроек..

Получаю в ответ такое сообщение:

Fatal error: Uncaught exception 'Exception' with message 'Error: Unknown column 'r_cost' in 'field list'<br />Error No: 1054<br />UPDATE `oc_pars_setting` SET `pre_view_param`='1', `pre_view_syntax`='1', `start_link`='https://webshop-ua.intercars.eu/zapchasti/tormoznaia-sistema-6600000', `link_list`='', `link_error`='', `page_cou_link`='10000000', `pars_stop`='0', `csv_name`='', `csv_delim`=';', `csv_escape`='&quot;', `csv_charset`='1', `pars_pause`='0-2', `type_grab`='1', `thread`='5', `filter_round_yes`='https://webshop-ua.intercars.eu/zapchasti/tormoznaia-sistema-6600000&amp;page=', `filter_round_no`='', `filter_round_method`='or', `filter_round_param`='', `filter_round_depth`='', `filter_round_slash`='0', `filter_round_domain`='0', `filter_round_rules`='', `filter_link_yes`='tovary/', `filter_link_no`='', `filter_link_method`='and', `filter_link_param`='', `filter_link_depth`='', `filter_link_slash`='0', in /site.com/storage/modification/system/library/db/mysqli.php on line 43

Змінено 1 липня 2021 користувачем nebo

[Rassol2]

57 минут назад, nebo сказал:

Ребят, подскажите, в чем может быть проблема?

Не удается сохранить данные во вкладке "Настройка запросов".

В какой-то из предыдущих версий модуля сохранил эти настройки, обновил модуль, теперь немогу ни удалить ни изменить. После любого действия, жму кнопку "сохранить", и в ответ это сообщение:

при обновлении забываете выполнять inst.php и у вас не хватает нужных колонок в базе данных.
Не забывайте выполнять все пункты при обновлении.
https://simplepars.top/index.php?page=inst

[Shaer]

подскажите плиз, я правильно понимаю что чтобы корректно закачалась сложная структура каталога, опции, сами товары с картинками и тп то лучше создавать отдельные настройки для парсера для каждой такой фишки и каждую грабить по отдельности? даже если товаров 500к и больше?

[Rassol2]

20 минут назад, Shaer сказал:

подскажите плиз, я правильно понимаю что чтобы корректно закачалась сложная структура каталога, опции, сами товары с картинками и тп то лучше создавать отдельные настройки для парсера для каждой такой фишки и каждую грабить по отдельности? даже если товаров 500к и больше?

Здравствуйте.
Нет такого требования. Только если вам так удобнее.

[Shaer]

т.е. можно все за один проход настроить?

[Rassol2]

3 часа назад, Shaer сказал:

т.е. можно все за один проход настроить?

да.

[Starychenko]

@Rassol2 , добрый день. В финальной версии модуля не работает наценка в пункте "Поиск и замена". Округление {1} или {1|>} не работает, хотя судя мануалу - должно работать.

 

Логика такая, что если у товара есть цена = значит есть и наличие. Предположим, при цене 7500 я умножаю ее на 0.0001 на выходе получаю 0.75 , далее остаётся только округлить число вверх, чтобы получить 1 для поля БД status.

 

Если цены у товара нет, значит нет наличия. Значит выражение ниже в любом из результатов вернёт 0 и статус будет 0.

 

Умножение работает, а округление нет.

 

Цитата

(1-9)*0.1&{1|>};(10-99)*0.01&{1|>};(100-999)*0.001&{1|>};(1000-9999)*0.0001&{1|>};(10000-99999)*0.00001&{1|>};(100000-999999)*0.000001&{1|>}

 

И в пунктах "Парсинг в CSV" или "Парсинг в магазин" не работает арифметические выражение.

 

К примеру если я хочу в статус добавить 1 или 0 таким образом: {gran_14}{/}{gran_14}.

 

Где {gran_14} = 0,75

 

То для того чтобы получить 1 нужно прописать выражение {gran_14}{/}{gran_14}. В результате 0,75/0,75=1 , но результат я получаю 0,75.

 

 

Третье, с чем я столкнулся - при установке через /inst.php я получал ошибку подключения к БД. По той причине, что у меня MySql работает на не стандартном порту. Вместо 3306 у меня 3310 (MySQL запущен через докер).

 

По этому в файле /inst.php пришлось делать правку такого рода подключения к MySQL (колхоз, но как сумел).

 

Цитата

// $dbh = new PDO("mysql:host=".$host."; dbname=".$dbname, $user, $pass);

$dbh = new PDO('mysql:host=127.0.0.1:3310;dbname=oc_mydb-mysql57', $user, $pass);

 

Змінено 2 липня 2021 користувачем Starychenko

[Rassol2]

4 часа назад, Starychenko сказал:

добрый день. В финальной версии модуля не работает наценка в пункте "Поиск и замена". Округление {1} или {1|>} не работает, хотя судя мануалу - должно работать.

 

Логика такая, что если у товара есть цена = значит есть и наличие. Предположим, при цене 7500 я умножаю ее на 0.0001 на выходе получаю 0.75 , далее остаётся только округлить число вверх, чтобы получить 1 для поля БД status.

 

Если цены у товара нет, значит нет наличия. Значит выражение ниже в любом из результатов вернёт 0 и статус будет 0.

 

Умножение работает, а округление нет.

Округление работает.
 

Спойлер

Внимательней прочтите инструкцию, и правильно составьте строчку.
https://simplepars.top/index.php?page=note&n=5

И пропишите его как в инструкции.

 

 

4 часа назад, Starychenko сказал:

И в пунктах "Парсинг в CSV" или "Парсинг в магазин" не работает арифметические выражение.

 

К примеру если я хочу в статус добавить 1 или 0 таким образом: {gran_14}{/}{gran_14}.

 

Где {gran_14} = 0,75

 

То для того чтобы получить 1 нужно прописать выражение {gran_14}{/}{gran_14}. В результате 0,75/0,75=1 , но результат я получаю 0,75.

Тоже работает. Внимательнее проверяйте что у вас в границе парсинга.

Спойлер

 

4 часа назад, Starychenko сказал:

Третье, с чем я столкнулся - при установке через /inst.php я получал ошибку подключения к БД. По той причине, что у меня MySql работает на не стандартном порту. Вместо 3306 у меня 3310 (MySQL запущен через докер).

 

По этому в файле /inst.php пришлось делать правку такого рода подключения к MySQL (колхоз, но как сумел).

Имеет право на жизнь.
Действительно в инсте не указан порт базы данных, до этого проблем не было.
Хотя весь это файл давно нужно переделать. Но пока не доходят руки.

Но ваше решение вполне имеет право на жизнь.

[Axelenz]

Добрый день.
Подскажите, как можно собрать данные, необходимые для связи товара через HPM.
Проблема вот в чём... У донора от одной до 3-х опций (дальше - атрибутов для HPM). Чтобы вытянуть данные для их связи, я с донора спарсил ссылки на подобные товары и с них уже беру необходимый код. Вот там, где по одной опции в товаре вопрос решается без проблем, а где 2 и 3-и опции никак не могу решить средствами модуля потому, что с разных товаров получаю эти коды в разных порядках следования друг за другом и выстроить их по возрастанию не получается...

Пример:
Для формирования данных для дальнейших связей просто связываю следующие друг за другом коды со ссылок, например:
607202 807202
связываю их и получаю нормальный код для HPM - 607202807202
Но в другом товаре он может быть в ином порядке:
807202 607202
и код уже будет, если связать 807202607202, а мне необходимо, чтобы он совпал с первым...
А если 3-и опции, то вариантов связей получается ещё больше...

[Rassol2]

4 минуты назад, Axelenz сказал:

Добрый день.
Подскажите, как можно собрать данные, необходимые для связи товара через HPM.
Проблема вот в чём... У донора от одной до 3-х опций (дальше - атрибутов для HPM). Чтобы вытянуть данные для их связи, я с донора спарсил ссылки на подобные товары и с них уже беру необходимый код. Вот там, где по одной опции в товаре вопрос решается без проблем, а где 2 и 3-и опции никак не могу решить средствами модуля потому, что с разных товаров получаю эти коды в разных порядках следования друг за другом и выстроить их по возрастанию не получается...

Пример:
Для формирования данных для дальнейших связей просто связываю следующие друг за другом коды со ссылок, например:
607202 807202
связываю их и получаю нормальный код для HPM - 607202807202
Но в другом товаре он может быть в ином порядке:
807202 607202
и код уже будет, если связать 807202607202, а мне необходимо, чтобы он совпал с первым...
А если 3-и опции, то вариантов связей получается ещё больше...

Здравствуйте.
Нет гарантии что все сайты можно связать.
В инструкции написано что нужно сделать что бы связать товар в общую группу. Если у вас есть возможность дастать все данные то гуд, если нет. То ...

Мало сайтов предоставляют возможность видеть связь. За которую можно зацепится.

[Axelenz]

9 минут назад, Rassol2 сказал:

Мало сайтов предоставляют возможность видеть связь. За которую можно зацепится.

Я то пока решил вопрос вырезанием с Наименования товара, но это решает проблему только частично... далеко не все товары захватываются по такой логике. А в модуле не хватает средств, чтобы отсортировать данные... нет логических операторов. Придётся подключать Excel, сортировку, склейку и потом через АОП забрасывать на сайт... (

[Rassol2]

5 минут назад, Axelenz сказал:

Придётся подключать Excel, сортировку, склейку и потом через АОП забрасывать на сайт... (

К сожалению не всегда парсинг решает все поставленные задачи.
 

[Reanimaster]

2 часа назад, Axelenz сказал:

Я то пока решил вопрос вырезанием с Наименования товара, но это решает проблему только частично... далеко не все товары захватываются по такой логике. А в модуле не хватает средств, чтобы отсортировать данные... нет логических операторов. Придётся подключать Excel, сортировку, склейку и потом через АОП забрасывать на сайт... (

Попробуйте AnyCSV 7.2

Он динамически поддерживает склейку полей, создание своих полей и ексель формулы. Очень гибкий модуль.

[Reanimaster]

Хотел уточнить по парсингу атрибутов.

Я правильно понимаю что модуль создаст атрибуты в товарах без атрибутов или нет?
 

Спойлер

 

[Rassol2]

1 минуту назад, Reanimaster сказал:

Я правильно понимаю что модуль создаст атрибуты в товарах без атрибутов или нет?

Я вот это не понял, не могли бы перефразировать?

[partshez]

12 минут назад, Reanimaster сказал:

Хотел уточнить по парсингу атрибутов.

Я правильно понимаю что модуль создаст атрибуты в товарах без атрибутов или нет?
 

  Скрыть контент

 

Если я правильно понимаю... Запишет в товар существующие на сайте атрибуты, но новые атрибуты создавать не будет.  На сайте есть Вес. Если спарсили с донора Вес, добавит в товар / при условии, что данного атрибута в товаре не было/ . Но если спарсили Вес, кг... такого атрибута на сайте нет. Создан не будет. В товар не добавится. 

Автор. Примерно так?

[Reanimaster]

16 минут назад, Rassol2 сказал:

Я вот это не понял, не могли бы перефразировать?

Смотрите. Опишу ситуацию. Есть сайт. В котором атрибуты идут отдельной страницей. Тобишь в коде нет атрибутов.

Я создаю два проекта. И кидаю в крон 4 задачи.
1 проект:

1) Сбор ссылок
2) Парсинг (Только добавлять новый товар)

 

2 проект:

1) Сбор ссылок

2) Парсинг (Только обновление) и там добавляю атрибуты.

 

Отсюда вопрос, вышеуказанный вариант добавит атрибуты в товар без них, либо везде обновит?
 

[Reanimaster]

Если кратко - как добавить атрибуты в товары, в которых их нет при обновлении?

 

[Rassol2]

29 минут назад, partshez сказал:

Если я правильно понимаю... Запишет в товар существующие на сайте атрибуты, но новые атрибуты создавать не будет.  На сайте есть Вес. Если спарсили с донора Вес, добавит в товар / при условии, что данного атрибута в товаре не было/ . Но если спарсили Вес, кг... такого атрибута на сайте нет. Создан не будет. В товар не добавится. 

Автор. Примерно так?

Да правильно, в товар будут добавлены только те что есть уже в магазине.

[Rassol2]

29 минут назад, Reanimaster сказал:

Смотрите. Опишу ситуацию. Есть сайт. В котором атрибуты идут отдельной страницей. Тобишь в коде нет атрибутов.

Я создаю два проекта. И кидаю в крон 4 задачи.
1 проект:

1) Сбор ссылок
2) Парсинг (Только добавлять новый товар)

 

2 проект:

1) Сбор ссылок

2) Парсинг (Только обновление) и там добавляю атрибуты.

 

Отсюда вопрос, вышеуказанный вариант добавит атрибуты в товар без них, либо везде обновит?
 

Выберите вариант добавлять обновлять. И все атрибуты залетят в товар.