[Поддержка] SimplePars - Универсальный парсер для ИМ

[bodyak0]

Тільки що, Rassol2 сказав:

а как хотите вы ?
размер 36 евро

размер 22,5 см., 37 евро

размер 23,5 см., 38 евро

размер 24 см., 39 евро

Вот так в одном товаре ?
Это атрибуты так сам движок Опенкарт не умеет.
Так что это вопрос не к парсеру а к самому движку.

 

Да только дошло)) Спасибо, в парсере было бы круто еще сделать парсинг тегов к примеру, бывают сайты доноры с метками

[Rassol2]

8 минут назад, bodyak0 сказал:

Да только дошло)) Спасибо, в парсере было бы круто еще сделать парсинг тегов к примеру, бывают сайты доноры с метками

А вообще есть смысл использовать теги в 2020 ?

Кто то это делает ?

[stas2010]

С добавлением новых товаров почти всё хорошо, а вот с обновлением существующих не всё есть. 

Задача - дополнить товар из базы новыми данными, подкорректировать существующие:

1. Взять название с донора.

2. В это название добавить границу + взять из атрибута существующего товара значение и добавить также в название.

 

пример.

сейчас в магазине имеем "LED 9ватт"

берем с донора название в виде границы Название {gr_1234} - "Светодиодная лампа 9W"

Берем из границы Артикул (gr_5678) сам артикул - 1111111111

берем для товара с артикулом 1111111111 из атрибутов {[Свет]} - "теплый свет" и {[Температура]} - "3000К"

дополняем текстом "(LED,)"

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

 

и тут опять приходим к тому, что это всё в конце надо подредактировать , убрав из полученного ",)" или ",," в случае пустых атрибутов.

 

В Excel реализована обработка "вечного цикла", может сообщение выводить, чтобы проверяли, если такое встретится.... или писать, что данная граница не может быть использована, т.к. задействована в такой-то границе....

 

 

Еще на заметку.

при создании таблицы есть "неудобство":

имеем в текстовом поле:

"Описание:

Граница 1

Граница 2

Граница 3

Свободный текст"

 

Предположим, что Граница 2 и 3 пустые, но задача составить текст с учетом того, что полная форма содержит значения всех границ, а если граница пуста, то и строку надо бы убрать.

по-этому имеем на выходе: 

"Описание

Текст из границы 1 .......

 

 

Свободный текст"

 

а должно быть:

"Описание

Текст из границы 1 .......

Свободный текст"

[stas2010]

1 час назад, Rassol2 сказал:

А вообще есть смысл использовать теги в 2020 ?

Кто то это делает ?

по роликам seo-спецов - еще актуальны, т.к. они потом дают дополнительные ссылки для перехода на страницу товара, что хорошо для поисковиков и поднимает в поисковиках.

[Rassol2]

16 часов назад, stas2010 сказал:

пример.

сейчас в магазине имеем "LED 9ватт"

берем с донора название в виде границы Название {gr_1234} - "Светодиодная лампа 9W"

Берем из границы Артикул (gr_5678) сам артикул - 1111111111

берем для товара с артикулом 1111111111 из атрибутов {[Свет]} - "теплый свет" и {[Температура]} - "3000К"

дополняем текстом "(LED,)"

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

И это вы назвали не все есть в модуле для обновления товара ?
В таком случаи могли просто написать что модуле не хватает кнопки Сделай все хорошо, что бы мне понравилось.

Как пом мне в модуле все есть для обновления. А то что вы описали да я таких задач в парсинге не видел за всю мою практику парсинга, учитывая что у меня она прям очень большая.

16 часов назад, stas2010 сказал:

В Excel реализована обработка "вечного цикла", может сообщение выводить, чтобы проверяли, если такое встретится.... или писать, что данная граница не может быть использована, т.к. задействована в такой-то границе....

а если вы сделаете в поиск замене так,
<p>|{gran
</p>|_1}
{gran_1}|{gran_2}

Как я отловлю создание границы номер 1, если вы ее можете по букве туда засунуть, что бы я проверил и сказа ай как не хорошо.
да никак.
Единственное что я встречу это проблемы с зависанием модуля. Потому что пользователи не подумали при применении то или иной границы.

 

16 часов назад, stas2010 сказал:

Еще на заметку.

при создании таблицы есть "неудобство":

имеем в текстовом поле:

"Описание:

Граница 1

Граница 2

Граница 3

Свободный текст"

 

Предположим, что Граница 2 и 3 пустые, но задача составить текст с учетом того, что полная форма содержит значения всех границ, а если граница пуста, то и строку надо бы убрать.

по-этому имеем на выходе: 

"Описание

Текст из границы 1 .......

 

 

Свободный текст"

 

а должно быть:

"Описание

Текст из границы 1 .......

Свободный текст"

Не создавайте реализацию такого вида.

Граница 1

Граница 2

Граница 3

 

Делайте так

 

Граница 1 Граница 2 Граница 3 Свободный текст

И пусть переносы строк хранятся внутри саймой границы.
В случаи если в границе что то есть через регулярные выражения добавляем в конец строки перенос.
 

Спойлер

Граница  пустая регулярное выражения это видит и не добавляет перенос с вконец строки.
Считайте это уже реализовано просто поменяйте свой подход к формированию.

[pycha]

Хотел спросить, есть ли импорт / экспорт в xml файл?  

[stas2010]

3 часа назад, Rassol2 сказал:

Сделай все хорошо, что бы мне понравилось.

хорошая идея  а когда появится ? 

3 часа назад, Rassol2 сказал:

И пусть переносы строк хранятся внутри саймой границы.

хорошее решение. а "Добавить в конце" примет {br}?

 

3 часа назад, Rassol2 сказал:

а если вы сделаете в поиск замене так,
<p>|{gran
</p>|_1}
{gran_1}|{gran_2}

Как я отловлю создание границы номер 1

как вариант - запретить замену на "{gr". 

замену границ - надо помозговать....

 

в моем пример подразумевается, что границы уже заранее созданы. а обработку созданной границы можно перенести в новую границу.

3 часа назад, Rassol2 сказал:

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

это будет границу Название_1, а 

 

20 часов назад, stas2010 сказал:

убрав из полученного ",)" или ",," в случае пустых атрибутов

это будет граница Название_2, которая и пойдет в таблицу или на сайт как название.

 

[Rassol2]

29 минут назад, stas2010 сказал:

хорошее решение. а "Добавить в конце" примет {br}?

да ее.
 

29 минут назад, stas2010 сказал:

как вариант - запретить замену на "{gr". 

замену границ - надо помозговать....

 

в моем пример подразумевается, что границы уже заранее созданы. а обработку созданной границы можно перенести в новую границу.

Я пока сильно не  вникаю в такие задачи. Голова не как у
Когда будет реализованы все задачи первой необходимости, и начнется период что нечего делать, вот тогда я буду активно делать подобные реализации, которые выходят за границы массовой потребности.
Даже сейчас я на скидку представляю такие проблемы как
Добавил {gran_1000} а у вас ее нету, модуль не скажет что так делать нельзя. Затем идем в создание границы и создаем новую. Предыдуший id границы был {gran_999} новая получит {gran_1000}
Я как бы не среднестатистический человек и понимаю что вероятность этого стремится к нулю. Но когда это произойдет и модуль попадет в вертикальное пике с бесконечным циклом и мне напишут "почему не работает" или "все зависло", я буду рвать волосы на всех местах что бы предсказать такое поведение и указать на ошибку в настройках.

В этом случаи я воспользуюсь практикой разработчиков php не внедряю по причине сильно сложно для понимания. Да и спрос пока минимален.
Вырастет спрос, или уменьшится количество задач на реализацию, тогда добро пожаловать начинаем реализовывать.

 

Цитата

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

ну а что мешает сейчас это делать ?

Составили границу парсинга имени товара, составили границу парсига значения нужных атрибутов и затем.
 

Спойлер

Дак еше и между границами можно засунуть все что угодно.

[Rassol2]

55 минут назад, pycha сказал:

Хотел спросить, есть ли импорт / экспорт в xml файл?  

Здравствуйте.
нету есть только в csv
С него можете пере сохранить в любой формат при помощи того же MS оффис.

[stas2010]

6 часов назад, pycha сказал:

Хотел спросить, есть ли импорт / экспорт в xml файл?  

только в csv. конвертнуть в xml,xls, или в другой формат можно без проблем через Excel или другие аналоги.

[stas2010]

5 часов назад, Rassol2 сказал:

Добавил {gran_1000} а у вас ее нету

ну нету, значить просто пусто прилетело

 

5 часов назад, Rassol2 сказал:

Цитата

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

ну а что мешает сейчас это делать ?

Составили границу парсинга имени товара, составили границу парсига значения нужных атрибутов и затем.
 

 

в том то и дело, что у донора нет этих значений, а в уже существующем товаре в атрибутах есть. частенько доноры используются для добора каких-либо данных.

[Rassol2]

1 минуту назад, stas2010 сказал:

ну нету, значить просто пусто прилетело

 

 

в том то и дело, что у донора нет этих значений, а в уже существующем товаре в атрибутах есть. частенько доноры используются для добора каких-либо данных.

то есть вы хотите не парсить эти значения.
Вы хотите обновлять товар и формировать названия из сушествующих данных товара.
Это уже на грани работы парсера, тут вам скорее нужно использовать модуль batch_editor к примеру. Он умеет пакетно редактировать товары, там есть функция для составления строк из данных существующих в товаре.
Раньше точно была.

В ней наверное будет правильнее составлять имя товара чем дергать для таких нужд парсинг.
 

[stas2010]

1 час назад, Rassol2 сказал:

ну нету, значить просто пусто прилетело

имелось в виду, у меня-то будут значения с донора, а это для тех случаев, когда действительно прилетело с парсинга пустое значение, либо просто пустая либо не существующая граница.

 

1 час назад, Rassol2 сказал:

Вы хотите обновлять товар и формировать названия из сушествующих данных товара.

обновление и формирование названия, описания и др. из существующих данных и данных парсинга.

универсальность бы была именно в том, что можно бы было слепить за один заход новую границу из любого типа данных - границы парсинга, имеющихся данных в атрибутах,возможно и из существующего описания, свободного текста. и вставить это в карточку товара.

формирование названия было приведено как один из таких случаев.

как еще пример - задача вставить в описание текст "Модель 2018 года", где 2018 нет у донора, но есть в карточке товара в атрибутах. 

 

Конечно, можно извратнутся и для автоматизации процесса сделать новый проект и спарсить свой же сайт и слепить уже из собранных заранее данных нужные названия, описания  и др. и обновить их.

 

batch_editor есть, надо глянуть, но это уже третий инструмент как минимум будет для формирования карточки товара... 

 

не знаю, как у вас, но у меня карточка товара формируется минимум из двух источников, в которых взаимно отсутсвуют какие-либо данные. 

 

[Rassol2]

8 минут назад, stas2010 сказал:

обновление и формирование названия, описания и др. из существующих данных и данных парсинга.

универсальность бы была именно в том, что можно бы было слепить за один заход новую границу из любого типа данных - границы парсинга, имеющихся данных в атрибутах,возможно и из существующего описания, свободного текста. и вставить это в карточку товара.

формирование названия было приведено как один из таких случаев.

как еще пример - задача вставить в описание текст "Модель 2018 года", где 2018 нет у донора, но есть в карточке товара в атрибутах. 

 

Конечно, можно извратнутся и для автоматизации процесса сделать новый проект и спарсить свой же сайт и слепить уже из собранных заранее данных нужные названия, описания  и др. и обновить их.

 

batch_editor есть, надо глянуть, но это уже третий инструмент как минимум будет для формирования карточки товара... 

 

не знаю, как у вас, но у меня карточка товара формируется минимум из двух источников, в которых взаимно отсутсвуют какие-либо данные. 

Давайте вернемся к этому вопросу когда в модуле будет создана новая вкладка, работа с существующими товарами. Аналог инструментов АОП

Просто тогда будет готовится плацдарм для дерганая разных значений из товаров и производить с ними какие то действия.

А так то что вы описываете возможно и прикольно было бы, но прежде чем реализовывать нужно составить не хилый план и все обдумать. Вот когда будет создаваться такая вкладка тогда уже будет некий плацдарм для работы в этом направлении.

[bodyak0]

В 08.02.2020 в 11:27, Rassol2 сказав:

а как хотите вы ?
размер 36 евро

размер 22,5 см., 37 евро

размер 23,5 см., 38 евро

размер 24 см., 39 евро

Вот так в одном товаре ?
Это атрибуты так сам движок Опенкарт не умеет.
Так что это вопрос не к парсеру а к самому движку.

 

Приветствую, а возможность парсить фото опции будет?

[Rassol2]

4 минуты назад, bodyak0 сказал:

Приветствую, а возможность парсить фото опции будет?

Да будет.
Дальше будет интересно )

[stas2010]

1 час назад, Rassol2 сказал:

Давайте вернемся к этому вопросу когда в модуле будет создана новая вкладка, работа с существующими товарами. Аналог инструментов АОП

Просто тогда будет готовится плацдарм для дерганая разных значений из товаров и производить с ними какие то действия.

А так то что вы описываете возможно и прикольно было бы, но прежде чем реализовывать нужно составить не хилый план и все обдумать. Вот когда будет создаваться такая вкладка тогда уже будет некий плацдарм для работы в этом направлении.

пишите в планы. будем обсуждать  ждём...

[stas2010]

В 08.02.2020 в 12:37, Rassol2 сказал:

А вообще есть смысл использовать теги в 2020 ?

Кто то это делает ?

в дополнение к вышесказанному  - в opencart (не знаю как в голой версии) в шаблонах и дополнительные поисковые модули как раз при поиске смотрят тэги. так что для opencart это будет актуально всегда.

[Rassol2]

буду думать.

[Rassol2]

Обновление v3.1-3

Это уже стабильная версия с использованием кэша.
Все о чем писали пользователи было исправлено, хотя в этом бета релизе почти не было сообщений об ошибках. Так что не исключаю возможность того что еше всплывут какие то недочеты. Но буду активно править.

В этот релиз вошли все наработки бета ветки.

Обновление 3.0-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1521785

Обновление 3.0-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1525018

Обновление 3.1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1531698

Обновление 3.1-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1534217

Обновление 3.1-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1535787

 

Так же добавил переключатель работы с кешем на все страницы где запускается парсинг.

 

Сбор ссылок

Спойлер

Прасинг в CSV

Спойлер

Парсинг в им

Спойлер

Из парсинга в CSV убрал возможность выбора символа для экранирования текста, это настройка оказалась полность не востребована все используют значение по умолчанию

При обновлении не забудьте выполнить /inst.php
 

[ihos]

Вот такая проблема сегодня появилась на сайте. Ранее парсился все хорошо, а сегодня сюрприз 

http://prntscr.com/r1ptzr

[Rassol2]

5 минут назад, ihos сказал:

Вот такая проблема сегодня появилась на сайте. Ранее парсился все хорошо, а сегодня сюрприз 

http://prntscr.com/r1ptzr

Здравствуйте.
Как видно сайт донор за 10сек не отдал страницу модулю.

Но это не ошибка модуля )

[ihos]

 

6 минут назад, Rassol2 сказал:

Здравствуйте.
Как видно сайт донор за 10сек не отдал страницу модулю.

Но это не ошибка модуля )

а если увеличить размер не 10 сек, а больше, хотя там за 3 сек все грузит

[Rassol2]

1 минуту назад, ihos сказал:

 

а если увеличить размер не 10 сек, а больше, хотя там за 3 сек все грузит

это поможет если проблемы где то в работе сайта донора и он формирует долго ответ.
А если это умышленное действие со стороны донора то это не поможет.

Допустим если им надоело что вы постоянно их парсите и создаете нагрузку и они решили все запросы с вашего ip игнорировать, тогда это не решит вашу проблему.
Но можете пробовать.

Для теста сделал запрос с модуля на ваш сайт донор.
 

Спойлер

Результат без проблем парсится. Отсюда есть подозрение что это блокировки на ваш ip

[ihos]

1 час назад, Rassol2 сказал:

это поможет если проблемы где то в работе сайта донора и он формирует долго ответ.
А если это умышленное действие со стороны донора то это не поможет.

Допустим если им надоело что вы постоянно их парсите и создаете нагрузку и они решили все запросы с вашего ip игнорировать, тогда это не решит вашу проблему.
Но можете пробовать.

Для теста сделал запрос с модуля на ваш сайт донор.
 

  Показать контент

Результат без проблем парсится. Отсюда есть подозрение что это блокировки на ваш ip

Та да, уже вижу...