[Поддержка] SimplePars - Універсальний парсер для ІМ

[dmitriy2506]

21.05.2023 в 23:03, partshez сказал:

Человек обратился ко мне за настройкой. Я настроил, показал результат на моем сайте. От человека ответа нет, никакого. Для чего давал мне задание, я потратил время на довольно сложную настройку - не понятно. Сегодня он выкладывает просьбу о помощи в теме...

день добрый извините за недопонимание но я описал задание и запросил цену и предупреждал, что прежде чем взяться назовите цену, вы сказали по цене договоримся и в итоге вы назвали цену уже вместе с примером парсинга , увидев цену я подумал могу и сам сделать и сам набросал задание за 1.5ч

заказ я не подтверждал

[lerand]

Добрый день.

Столкнулся с тем, что при CSV-парсинге при формировании таблицы получается билиберда. Большая часть товаров отсутствует в итоговой таблице.

В разделе "Настройки парсинга" если выбираю руками ссылки и границы - все четко парсится, но вот при парсинге в CSV большая часть данных в таблице отсутствует. Такое ощущение, что не по каждой ссылке у Парсера получается собрать данные.

Файл настроек прилагаю

Может быть кто-то сталкивался с подобным и что-то сможет порекомендовать.

SPsetting-107-2.json

[Rassol2]

22.05.2023 в 04:59, lerand сказал:

Добрый день.

Столкнулся с тем, что при CSV-парсинге при формировании таблицы получается билиберда. Большая часть товаров отсутствует в итоговой таблице.

В разделе "Настройки парсинга" если выбираю руками ссылки и границы - все четко парсится, но вот при парсинге в CSV большая часть данных в таблице отсутствует. Такое ощущение, что не по каждой ссылке у Парсера получается собрать данные.

Файл настроек прилагаю

Может быть кто-то сталкивался с подобным и что-то сможет порекомендовать.

SPsetting-107-2.json 20 \u041a\u0431 · 0 скачиваний

Что в логах модуля написано по этому вопросу ? 

[lerand]

По всем ссылкам в логах Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | 

[Rassol2]

22.05.2023 в 05:44, lerand сказал:

По всем ссылкам в логах Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | 

Собственно причина была найдена, в ЛС.

[yurok79]

Здравствуйте, подскажите? Цены в xml фиде в разных валютах UAH и USD. Как сделать чтобы те которые в USD (в зависимости от значения поля currency_id) умножались на курс? 

Я сделал в поиске и замене по полю currency_id UAH|1, USD|38, но как теперь умножить поле Цена на значение этого поля?

[Rassol2]

24.05.2023 в 05:53, yurok79 сказал:

Здравствуйте, подскажите? Цены в xml фиде в разных валютах UAH и USD. Как сделать чтобы те которые в USD (в зависимости от значения поля currency_id) умножались на курс? 

Я сделал в поиске и замене по полю currency_id UAH|1, USD|38, но как теперь умножить поле Цена на значение этого поля?

Используйте логические оператор if
Он идеально подходит под эту задачу.
Здесь описано как работают логические операторы.
https://simplepars.top/index.php?page=note&n=50

 

Если id совпадает то тело будет {gran_1}{*}а тут курс.

[mirek]

Такой интересный вопрос. При парсинге характеристик Парсер с одной стороны правильно заполняет Цвет в Цвет - характеристика товара в магазине.

 

Но проблема в том, что в магазине прописан где-то десяток характеристик с названием Цвет )

 

Но одна характеристика относится к категории характеристик "Мониторы", другая к "Жесткие диски" и т.д..  Возможно ли добиться того, что-б Парсер понимал в какую категорию писать ?  

[partshez]

26.05.2023 в 06:26, mirek сказал:

Такой интересный вопрос. При парсинге характеристик Парсер с одной стороны правильно заполняет Цвет в Цвет - характеристика товара в магазине.

 

Но проблема в том, что в магазине прописан где-то десяток характеристик с названием Цвет )

 

Но одна характеристика относится к категории характеристик "Мониторы", другая к "Жесткие диски" и т.д..  Возможно ли добиться того, что-б Парсер понимал в какую категорию писать ?  

Возможно. Использовать группы атрибутов попробуйте

Змінено 26 травня 2023 користувачем partshez

[mirek]

26.05.2023 в 08:19, partshez сказал:

Возможно. Использовать группы атрибутов

А есть какая-то инструкция именно по группам атрибутов? В видео я нашел только 2 варианта парсинга характеристик.

 

Вообще не совсем себе представляю как Парсер поймет, что те или иные характеристики относятся к такой-то группе? В моем случае группа атрибутов зависит от категории товара. 

[partshez]

26.05.2023 в 09:05, mirek сказал:

А есть какая-то инструкция именно по группам атрибутов? В видео я нашел только 2 варианта парсинга характеристик.

 

Вообще не совсем себе представляю как Парсер поймет, что те или иные характеристики относятся к такой-то группе? В моем случае группа атрибутов зависит от категории товара. 

Написал в личку...

[DeDENISiS]

Добрый день!

 

Необходимо сделать проверку по изображениям - если картинки имеющиеся у товара такие же как в фиде, то не обновлять. Если они как то изменились (изменилось количесвто или названия), то нужно обновить. Подскажите пожалуйста как это сделать, товаров не много, но картинок очень много и каждый раз их все обновлять занимает много времени и ресурсов.

[Rassol2]

26.05.2023 в 01:35, DeDENISiS сказал:

Добрый день!

 

Необходимо сделать проверку по изображениям - если картинки имеющиеся у товара такие же как в фиде, то не обновлять. Если они как то изменились (изменилось количесвто или названия), то нужно обновить. Подскажите пожалуйста как это сделать, товаров не много, но картинок очень много и каждый раз их все обновлять занимает много времени и ресурсов.

Перед тем как давать ответ хочу поинтересоваться как часто донор обновляет изображения ?
Просто я как человек долгое время варящийся в этой теме не встречал доноров которые обновляют фото, да бывает раз в пару лет где то фото добавят или уберут. Но даже не раз в год.

Отсюда и мой вопрос.

[DeDENISiS]

26.05.2023 в 09:39, Rassol2 сказал:

Перед тем как давать ответ хочу поинтересоваться как часто донор обновляет изображения ?
Просто я как человек долгое время варящийся в этой теме не встречал доноров которые обновляют фото, да бывает раз в пару лет где то фото добавят или уберут. Но даже не раз в год.

Отсюда и мой вопрос.

Это донор аренды и продажи недвижимости. Там могут изменения происходить в любой момент. Планирую раз в 2 часа проходить парсером по xml. С остальными данными проблем нет, парсер работает быстро.

[Rassol2]

26.05.2023 в 01:43, DeDENISiS сказал:

Это донор аренды и продажи недвижимости. Там могут изменения происходить в любой момент. Планирую раз в 2 часа проходить парсером по xml. С остальными данными проблем нет, парсер работает быстро.

Когда будет у вас время пришлите 2 скришота одной и тоже не движемости с разными фото.
Мне для личного опыта. Если конечно у вас будет возможность. Пока что мне такое не присылали. И у меня закрадывается мысль что фото все же не обновляются, а пользователи просто хотят так думать. Я не говорю сейчас конкретно про вас, не подумайте. Мне данный пример нужен для сбора данных, если это происходит то эта задача которую можно попробовать решить в модуле, а если это не происходит то и решать пока ничего не нужно. 

В данном случаи нужно писать скрипт который будет сравнивать само фото товара у вас и то что пришло от донора, и если хеш сумма не совпадает заменять фото.
Но тут есть проблема, так как мы не можем гарантировать порядок фото, нам нужно на все фото одного товара производить сбор все фото донора и генерировать все хеш фунции.
Это замедляет процесс обновления. Сильно замедляет.
Так же тут есть вторичная проблема связанная с тем что фото из товара может использоваться еше где то, допустим в описании.
И при удалении такого фото будет удалено и из описания, а проверять такие связи перед заменой мы не можем.

По этому тут только собственный скрипт, который будет выполнять конкретно вашу задачу, под ваши нужды.
 

[DeDENISiS]

26.05.2023 в 09:51, Rassol2 сказал:

Когда будет у вас время пришлите 2 скришота одной и тоже не движемости с разными фото.
Мне для личного опыта. Если конечно у вас будет возможность. Пока что мне такое не присылали. И у меня закрадывается мысль что фото все же не обновляются, а пользователи просто хотят так думать. Я не говорю сейчас конкретно про вас, не подумайте. Мне данный пример нужен для сбора данных, если это происходит то эта задача которую можно попробовать решить в модуле, а если это не происходит то и решать пока ничего не нужно. 

В данном случаи нужно писать скрипт который будет сравнивать само фото товара у вас и то что пришло от донора, и если хеш сумма не совпадает заменять фото.
Но тут есть проблема, так как мы не можем гарантировать порядок фото, нам нужно на все фото одного товара производить сбор все фото донора и генерировать все хеш фунции.
Это замедляет процесс обновления. Сильно замедляет.
Так же тут есть вторичная проблема связанная с тем что фото из товара может использоваться еше где то, допустим в описании.
И при удалении такого фото будет удалено и из описания, а проверять такие связи перед заменой мы не можем.

По этому тут только собственный скрипт, который будет выполнять конкретно вашу задачу, под ваши нужды.
 

Суть какая - есть база объявлений, она предоставляет фид на все актуальные объявления. Там сидят несколько менеджеров которые ищут объявления по разным площадкам, сперва зальют одни фото объявлениям, потом если найдут лучше то заменят, могут найти дополнительные - то дополнят. Ситуация редкая, но очень важная. Из своей практики я заметил, что порядок фото не изменим. А если он изменился, то вероятнее всего произошли какие то изменения. Вот этот первый вариант с хеш суммой, мне кажется то что нужно.

[Rassol2]

26.05.2023 в 02:00, DeDENISiS сказал:

Суть какая - есть база объявлений, она предоставляет фид на все актуальные объявления. Там сидят несколько менеджеров которые ищут объявления по разным площадкам, сперва зальют одни фото объявлениям, потом если найдут лучше то заменят, могут найти дополнительные - то дополнят. Ситуация редкая, но очень важная. Из своей практики я заметил, что порядок фото не изменим. А если он изменился, то вероятнее всего произошли какие то изменения. Вот этот первый вариант с хеш суммой, мне кажется то что нужно.

Ну тут только через собственные скрипты.
Тз скрипта попроше.

Ставим в модуле не обновлять фото товара.
Запускать скрипт перед парсингом товара.

Берем ссылки из границы парсинга, выкачиваем фото с донора. Делаем хеш сумму через тот же md5
Далее берем из базы данных все фото товара. Делаем хеш сумму все фото что имеются у донора.
И начинаем методом перебора проверять все ли хеш суммы совпадают, если хоть одно не совпала, переключаем значение не Заменить все изображение с физическим удалением на хостинге.
$script_data['setting']['u_img'] = 2;

Если все хеш суммы совпали ничего не делаем.
Такой скрипт на нужных товарах будет переключать режим обновления фото, в том случаи если фото разные.

Вот тут.
 

Скрытый текст

А дальше модуль сделает замену фото для конкретно этого товара.

[DeDENISiS]

26.05.2023 в 10:10, Rassol2 сказал:

Ну тут только через собственные скрипты.
Тз скрипта попроше.

Ставим в модуле не обновлять фото товара.
Запускать скрипт перед парсингом товара.

Берем ссылки из границы парсинга, выкачиваем фото с донора. Делаем хеш сумму через тот же md5
Далее берем из базы данных все фото товара. Делаем хеш сумму все фото что имеются у донора.
И начинаем методом перебора проверять все ли хеш суммы совпадают, если хоть одно не совпала, переключаем значение не Заменить все изображение с физическим удалением на хостинге.
$script_data['setting']['u_img'] = 2;

Если все хеш суммы совпали ничего не делаем.
Такой скрипт на нужных товарах будет переключать режим обновления фото, в том случаи если фото разные.

Вот тут.
 

  Показать содержимое

А дальше модуль сделает замену фото для конкретно этого товара.

 

В скриптах не силен, нужна помощь в написании такого скрипта

[mirek]

А как в Поиск/Замена добавить только 1 раз в Начало для повторяющейся границы ? 

[Axelenz]

30.05.2023 в 22:39, mirek сказал:

А как в Поиск/Замена добавить только 1 раз в Начало для повторяющейся границы ? 

Чтобы добавить так, как Вы хотите, то можно добавить в обычную границу, а потом это появится в повторяющейся... предполагаю, что Вы работаете с Категориями ?

[mirek]

Добавить мой текст в 1-ю позицию повторяющейся границы. А в остальные повторения ничего не добавлять. В данном случае мне надо добавить {g-start}
Я вставил {g-start} в Добавить в начало. Но оно тогда добавило этот {g-start} во все повторения

[mirek]

30.05.2023 в 22:48, Axelenz сказал:

Чтобы добавить так, как Вы хотите, то можно добавить в обычную границу

Но хотя теоретически так могло бы получится. Я вставил в {g-start} в Добавить в начало в обычной границе. А повторяющаяся парсится уже на основе этой обычной.

 

Но почему-то не получилось. После того как я нажал Сп+Преоб для повторяющейся границы оно выдало атрибуты без {g-start} в начале. И уже в исходном тексте не видно {g-start}. Может превью работает раздельно для настроек каждой границы ?

[partshez]

30.05.2023 в 23:24, mirek сказал:

Но хотя теоретически так могло бы получится. Я вставил в {g-start} в Добавить в начало в обычной границе. А повторяющаяся парсится уже на основе этой обычной.

 

Но почему-то не получилось. После того как я нажал Сп+Преоб для повторяющейся границы оно выдало атрибуты без {g-start} в начале. И уже в исходном тексте не видно {g-start}. Может превью работает раздельно для настроек каждой границы ?

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=361&tab=comments#comment-1742953

Посмотрите еще раз все внимательно и все должно получиться

[mirek]

30.05.2023 в 23:30, partshez сказал:

Посмотрите еще раз

{g-start} - текст начала имени группы атрибутов   Я внимательно посмотрел. Проблема с тем, что-б вставить этот {g-start}

[Rassol2]

30.05.2023 в 15:36, mirek сказал:

{g-start} - текст начала имени группы атрибутов   Я внимательно посмотрел. Проблема с тем, что-б вставить этот {g-start}

Вставьте там где вы будете использовать эту границы
 

Скрытый текст

Вот так текст добавится в начало перед повторяющейся границей.