[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

5 часов назад, Axelenz сказал:

 

Так а на вкладке CSV/Парсинг это не предусмотрено ? Мне, например, всё равно, что на вкладке Парсинг в ИМ, я с ней никогда не работаю...

Здравствуйте.

Пока что нет. Поскольку в формировании прайс листов нет четкого определения в каком поле какой тип данных. В количестве и цене. Это числа, и я могу без зазрения совести все данные что записаны переводить в числовой формат.

Вот с прайсами немного по другому, у вас в колонке может быть как число так и строка.
То есть Притвет{|}До свидания.
B такой интерпретации модуль должен уметь понять что если нет привет пишем пока.
А если

Rassol2{+}Привет{|}Пока
А в таком случаи должен выдать модуль мне пока не понятно.
В числа перевести эти значения, и в итоге получить 0{+}0{|}Пока
И записать в ячейку Пока.

Еше не решил как это будет работать в прайсах.
 

[Rassol2]

3 часа назад, partshez сказал:

Не представляю даже примерно способ реализации этого вопроса в данном модуле.

Я не развиваю тему опций, пока еше.
Подобную технологию можно добавить в опции. Но над опциями еше много работы нужно сделать.

Это будет большая и отдельная работа.

Нужно понимать что опции это довольно сложная шняга в плане парсинга. И реализовать тот или иной функционал, как к примеру связанные опции при помощи парсинга в 90% случаев нереально.

[Axelenz]

1 час назад, Rassol2 сказал:

Поскольку в формировании прайс листов нет четкого определения в каком поле какой тип данных. В количестве и цене.

Как вариант решения - добавить ещё одну колонку, где в чекбоксе можно будет насильно указать, какой тип данных должен быть в этом поле. Если там находятся цифры - то и так понятно, что с ними можно делать. А если там находятся текстовые данные, а поставить галочку "Тип данных - числа", то чтобы модуль делал, как вариант, подсчёт количества символов в этом поле и операции делал уже с этими данными. Кто знает, может кому-то и понадобится делать подобный подсчёт, как вариант...

[wegigant]

Добрый день.

А парсер умеет парсить на основе своих же данных?

Например, мы спарсили в какое-то поле {pole1} код товара.

В следующем поле нам нужно найти блок <div>{pole1} до какого-то параметра, например </div>

 

Умеет ли парсер распознавать или подставлять свои же данные, которые он парсит прямо в процессе?

Змінено 13 серпня 2020 користувачем wegigant

[Rassol2]

14 часов назад, Axelenz сказал:

Как вариант решения - добавить ещё одну колонку, где в чекбоксе можно будет насильно указать, какой тип данных должен быть в этом поле. Если там находятся цифры - то и так понятно, что с ними можно делать. А если там находятся текстовые данные, а поставить галочку "Тип данных - числа", то чтобы модуль делал, как вариант, подсчёт количества символов в этом поле и операции делал уже с этими данными. Кто знает, может кому-то и понадобится делать подобный подсчёт, как вариант...

Собственно обдумал все.

 

Наверное самое близкое решение будет таковым.
Дополнительные кнопки, переключатели для этой функции вводить не хочу, она не будет повсеместно нужна а интерфейс это усложнит.

При вводе в любое поле csv арифметических операторов.
{+}

{-}

{*}

{/}

с этого момента модуль будет рассматривать входные данные не как строки а число. И не смотря на то что будет в ведено в такую колонку на выходе будет число.

То есть елси ввести.
Rassol2{|}SimplePars

то модуль поймет что нужно прописать строку Rassol2

Но если ввести

Rassol2{+}{|}SimplePars

тогда модуль приведет строку Rassol2 к числу получит 0 , а если значение в числовом значении равно 0 или пустота тогда модуль переключит и впишет в столбик слово.
SimplePars

пока вижу только такое решение.

[Rassol2]

3 минуты назад, wegigant сказал:

Добрый день.

А парсер умеет парсить на основе своих же данных?

Например, мы спарсили в какое-то поле {pole1} код товара.

В следующем поле нам нужно найти блок <div>{pole1} до какого-то параметра, например </div>

 

Умеет ли парсер распознавать или подставлять свои же данные, которые он парсит прямо в процессе?

Здравствуйте.

Если вы имеете в виду.
Если я правило вас понял может ли модуль создать границу парсинга, и использовать ее данные как значение другой границы парсинга. То нет такое не умеет.

Но у меня есть следующий вопрос, я не представляю для чего это может понадобится. Приведите пример где без такого не обойтись.
А то как по мне это излишний функционал в любом парсере.
 

[wegigant]

1 час назад, Rassol2 сказал:

Но у меня есть следующий вопрос, я не представляю для чего это может понадобится. Приведите пример где без такого не обойтись.

Давайте приведу пример.

 

У меня есть Название товара, которое содержит в себе Тип товара, бренд, модель и какие-то характеристики.

Например,

Подшипник полуоси VAG 02G4046652B

При этом сочетание "подшипник полуоси" на странице больше нигде не встречается.

Но хочу его вытянуть отдельно, как "тип товара".

У меня в отдельных данных на странице есть сочетание VAG 02G4046652B (его можно поместить в {pole1} )

Как вытаскивать этот "подшипник полуоси" ?

Одно из предположений - берём от <h1> до ранее собранного {pole1}

 

[Rassol2]

7 минут назад, wegigant сказал:

Давайте приведу пример.

 

У меня есть Название товара, которое содержит в себе Тип товара, бренд, модель и какие-то характеристики.

Например,

Подшипник полуоси VAG 02G4046652B

При этом сочетание "подшипник полуоси" на странице больше нигде не встречается.

Но хочу его вытянуть отдельно, как "тип товара".

У меня в отдельных данных на странице есть сочетание VAG 02G4046652B (его можно поместить в {pole1} )

Как вытаскивать этот "подшипник полуоси" ?

Одно из предположений - берём от <h1> до ранее собранного {pole1}

 

если дадите ссылку на донора, я посмотрю как это можно сделать.

Но в данном случаи я бы просто сделал <h1> до </h1>
и затем через поиск замену достал что мне нужно.

Как правило это решаю через регулярные выражения в модуле.

[wegigant]

4 минуты назад, Rassol2 сказал:

и затем через поиск замену достал что мне нужно.

а поиск и замена в Вашем модуле может считывать ранее собранные данные? 

имена в <h1> будут постоянно разные

[Rassol2]

1 минуту назад, wegigant сказал:

а поиск и замена в Вашем модуле может считывать ранее собранные данные? 

имена в <h1> будут постоянно разные

Скидывайте ссылку на на донора и посмотрим насколько разные данные.

Пока еше не было случаев что нельзя решить. Может вы будете первым

Считывать нельзя, по той причине что может быть вечный цикл.
Когда граница три получается благодаря границе два, а граница два получается благодаря границе один, а граница один получается из границы три.
И все кольцо замкнулось.
 

[Rassol2]

Обновление v3.7-3_beta

В парсинге в CSV таблицу добавлена поддержка логических и арифметических операторов.

 

Как это работает недавно описывал на примере парсинга в ИМ так что подробно прочесть можно здесь
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1636800

 

Единственная разница, и наверное важная.
Оператор или {|} в парсинге в ИМ срабатывает когда значение слева от оператора либо пустое либо равно 0
В парсинге в CSV оператор или срабатывает только в том случаи если слева от него значение ПУСТОЕ. Если значение будет равно 0 то модуль запише ноль в ячейку прайса, а не возьмет значение с права от оператора {|}

Вот тут пару примеров для понимания накинул.

 

То есть исключение ИЛИ работает только если пустота.

PS. @Axelenz Вот и на вашу улицу пришло обновление

[Axelenz]

6 часов назад, Rassol2 сказал:

В парсинге в CSV таблицу добавлена поддержка логических и арифметических операторов.

Благодарю... сейчас и попробую ) А то слишком много приходится возиться в Excel, а зачем, если всё это можно в модуле прописать и... enjoy the quiet )))

[Axelenz]

Проверил, единственно, что не нравится, что в таблицу подхватывается и заносится само "или".

Т.е. получаю в итоговом столбце перед данными это или "{|}", которое потом необходимо будет удалять в Excel )

Парсинг на локалке, Open Server 5.2.2.

 

Спойлер

 

Змінено 16 серпня 2020 користувачем Axelenz

[Rassol2]

Проверил, единственно, что не нравится, что в таблицу подхватывается и заносится само "или".
Т.е. получаю в итоговом столбце перед данными это или "{|}", которое потом необходимо будет удалять в Excel )
Парсинг на локалке, Open Server 5.2.2.
 
Спойлер
 

Что-то у вас не так сегодня вечером буду дома посмотрю. надо же в том примере которая продемонстрировал при обновлении такой проблемы нет. Нужно разбираться почему вас не так отрабатывает.

Отправлено с моего Pixel через Tapatalk

[Rassol2]

9 часов назад, Axelenz сказал:

Проверил, единственно, что не нравится, что в таблицу подхватывается и заносится само "или".

Т.е. получаю в итоговом столбце перед данными это или "{|}", которое потом необходимо будет удалять в Excel )

Парсинг на локалке, Open Server 5.2.2.

 

  Скрыть контент

 

Скиньте мне проэкт в ЛС я проверю как у вас так вышло.

[Axelenz]

Из хотелок... на далёкие перспективы )

Очень удобно было бы, чтобы можно было создавать текстовый файл, а в нём размещать слова с "запрещённого контента"

https://support.google.com/adspolicy/answer/6008942?hl=ru#con

а дальше проверять, например, наличие данных слов в Наименовании товара или в Описании товара и делать какие-то действия, если такие присутствуют в тексте...

[Rassol2]

11 минут назад, Axelenz сказал:

Из хотелок... на далёкие перспективы )

Очень удобно было бы, чтобы можно было создавать текстовый файл, а в нём размещать слова с "запрещённого контента"

https://support.google.com/adspolicy/answer/6008942?hl=ru#con

а дальше проверять, например, наличие данных слов в Наименовании товара или в Описании товара и делать какие-то действия, если такие присутствуют в тексте...

Например ?
какие действия ?

[Axelenz]

18 минут назад, Rassol2 сказал:

Например ?
какие действия ?

У каждого клиента свои хотелки...

Один Заказчик, например, дал перечень слов и сказал, чтобы товары с этими словами не присутствовали в прайсе. Слова эти дали ему представители поисковика.

Т.е. тут уже необходимо поработать с подобным текстом, насколько он важен для клиента... не просто сделать замену слов, а проанализировать и решить, что дальше делать: удалить, заменить на синонимы при необходимости и т.д.

Вот, к примеру, товар, который не проходит у клиента и он его удаляет:

Жидкость для электронных сигарет

поэтому я фильтрую тексты на присутствие слов: сигарета, сигареты... а также пистолет, нож, оружие, алкоголь...

Змінено 16 серпня 2020 користувачем Axelenz

[Axelenz]

10 часов назад, Axelenz сказал:

Проверил, единственно, что не нравится, что в таблицу подхватывается и заносится само "или".

Т.е. получаю в итоговом столбце перед данными это или "{|}", которое потом необходимо будет удалять в Excel )

Парсинг на локалке, Open Server 5.2.2.

Вопрос снят - мои проблемы с установкой...

[travkovs]

Вопрос! как посредством данного модуля можно парсить видео и файлы которые прилагаются к данному товару (инструкция, паспорт и прочее)

[Rassol2]

2 минуты назад, travkovs сказал:

Вопрос! как посредством данного модуля можно парсить видео и файлы которые прилагаются к данному товару (инструкция, паспорт и прочее)

на данный момент никак.
Это еше не реализовано.

[travkovs]

Когда планируете ... это очень очень нужно!

[Rassol2]

12 минут назад, Axelenz сказал:

У каждого клиента свои хотелки...

Один Заказчик, например, дал перечень слов и сказал, чтобы товары с этими словами не присутствовали в прайсе. Слова эти дали ему представители поисковика.

Т.е. тут уже необходимо поработать с подобным текстом, насколько он важен для клиента... не просто сделать замену слов, а проанализировать и решить, что дальше делать: удалить, заменить на синонимы при необходимости и т.д.

нет такого сейчас нет.
Вы можете только определить по определенному тексту, парсить данные страницы которая содержит определенный текст или пропустить.
Но вот так что бы модуль решал что на что поменять такого нет. Я думаю это не реально сделать.

Тут нужно нейронную сеть писать уже ))
Меня и так уже обвинили что я изобретаю новый язык программирования ))))

[Rassol2]

1 минуту назад, travkovs сказал:

Когда планируете ... это очень очень нужно!

в ближайшие время. Может месяц может полтора.
Сейчас нужно доделать функционал списка ссылок + крон. А там буду решать что следующие делать.

[travkovs]

Только что, Rassol2 сказал:

в ближайшие время. Может месяц может полтора.

.

Спасибо! Буду очень ждать! Сразу приобрету модуль!