[Поддержка] SimplePars - Универсальный парсер для ИМ

[kedropt]

Добрый день! Opencart Version 2.3.0.2 (rs.7)

Нахожусь на этапе "Настройки парсинга". Выбираю ссылку для просмотра кода - код подгружается, но сама страница не отображается в окне которое ниже.

Подскажите, в чем может быть проблема?

[lololod3]

Только что, kedropt сказал:

Добрый день! Opencart Version 2.3.0.2 (rs.7)

Нахожусь на этапе "Настройки парсинга". Выбираю ссылку для просмотра кода - код подгружается, но сама страница не отображается в окне которое ниже.

Подскажите, в чем может быть проблема?

Такое бывает, не все сайты дают разрешение на отображение))) 

[kedropt]

1 минуту назад, lololod3 сказал:

Такое бывает, не все сайты дают разрешение на отображение))) 

Услышал, это не отразится на результате?

[Rassol2]

16 минут назад, kedropt сказал:

Услышал, это не отразится на результате?

нет. на парсинг это не влияет.

[Rassol2]

1 час назад, lololod3 сказал:

 

SPsetting-6.json 16 \u043a\u0411 · 1 download

Собственно как и говорил вопрос в фильтрах.
Правда я не стал разбираться в ваших а просто сделал свои и все работает.
 

Спойлер

 

[Axelenz]

Подскажите, пожалуйста.

Пытаюсь связанные опции спарсить и потом их разделить на отдельные товары...

Вот как можно опцию цвета, в которой, например, есть 9 опций размеров, повторить столько же раз (9 раз) ? Просто делать по максимальному возможному количеству размеров, какие могут встречаться на сайте - не очень интересно... хотелось бы получить конкретное число.

 

Спойлер

 

[Rassol2]

4 минуты назад, Axelenz сказал:

Подскажите, пожалуйста.

Пытаюсь связанные опции спарсить и потом их разделить на отдельные товары...

Вот как можно опцию цвета, в которой, например, есть 9 опций размеров, повторить столько же раз (9 раз) ? Просто делать по максимальному возможному количеству размеров, какие могут встречаться на сайте - не очень интересно... хотелось бы получить конкретное число.

 

  Скрыть контент

 

Делаете повторяющуюся границу париснга, где 9 повторений.
И приклеиваете к каждому повторению границу парсинга которую хотите повторить 9 раз.
В поиск замене.

[Axelenz]

36 минут назад, Rassol2 сказал:

И приклеиваете к каждому повторению границу парсинга которую хотите повторить 9 раз.

Это понимаю, а как практически приклеить {gran_000} в поиск/замене... Почему-то получаю в итоге текст {gran_000}, а не сами данные с указанной границы...

 

Понятно... работает то, что мне необходимо только в бете... Сенкс...

Змінено 26 квітня 2021 користувачем Axelenz

[ZevZ]

В 25.04.2021 в 02:45, Rassol2 сказал:

Обновление v4.4-1_beta

Редактор товаров.
Внесена правка которая должна помочь избежать проблем с отображением действий.
Вот про это - https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1716933

 

Настройка парсинга.
Внесены правки что бы iframe окно (это окно с пред просмотром сайта донора) не загружалось в фоне.

  Скрыть контент

Раньше оно всегда грузилось, просто не отображалось, делал так что бы быстрее выводилась информация.
Теперь же загрузка этого окна начнется только если выбрано показывать. До этого момента загрузка ни в каком виде идти не будет.
Так же напомню. Не все сайты разрешают просматривать их в iframe (то есть открывать сайт внутри сайта) И это нормально, на парсинг не влияет.

В таких случая вам нужно нажать на
 

  Скрыть контент

И модуль откроет еще одну вкладку в браузере, где будет загружена страница, код которой вы видите в пред просмотре.
Таким образом вы сможете настраивать поглядывая в соседнюю вкладку браузера.

Парсинг в ИМ
Добавлена возможность обновлять изображения только в тех товарах в которых его нет.
То есть нет изображения совсем!!!

 

  Скрыть контент

Сделал по просьбе. @ZevZ

Обратите внимание, что бы модуль начал грузить фото в этом режиме, в товаре не должно быть главного изображения и ни одного дополнительного.
То есть вот так.
 

  Скрыть контент

Но тут есть очень, очень неприятный подводный камень.

Если в товаре прописано изображение, но при этом физически оно отсутствует на хостинге, то через редактор товара вы не можете определить, нету фото или фото битое.

Обратите внимание, на вид как будто бы у товара нет изображения. И смотрим какой это id

  Скрыть контент

id товара 15052 идем в базу данных и смотрим. Что же там у товара.

 

  Скрыть контент

Как видим запись есть, значит в товаре по факту записано изображение.

Вот в таких случаях модуль НЕ ДОБАВИТ ИЗОБРАЖЕНИЯ при выбранном режиме Добавлять изображения если в товаре их нет
Так как модуль не проверяет присутствие физически файла на диске, а тем более что бы это файл корректно открывался.

Надеюсь мне не придется удалять эту функцию из за того что обычные пользователе не понимают как она работает, или не будут понимать как проверить нет изображения или оно битое.
Особенно предвкушаю такую проблему с парсингом изображений в формате webp которые порсятся и записываются в магазин идеально, только вот опенкарт их не выводит.

СПАСИБО

Если обновиться, настройки не слетят?

 

Вот, а по поводу регулярных выражений, было бы очень офигительно, к примеру, если бы на тех страницах модуля, где используются те самые регулярные выражения, сделать типа выпадающего списка, по аналогии как в модуле вставляются границы парсинга...

А в списке самые ходовые регулярные выражения с пояснением. Нажал, оп, и выражение с правильным синтаксисом ставилось в поле, подправил буковки и усе...

А так, надо лезь, искать, и еще смотреть, как их правильно написать....

Это из удобств...

Змінено 26 квітня 2021 користувачем ZevZ

[lololod3]

2 часа назад, Rassol2 сказал:

Собственно как и говорил вопрос в фильтрах.
Правда я не стал разбираться в ваших а просто сделал свои и все работает.
 

  Показать контент

 

да он парсит но глубина вложения 3 амне нужно 4)))

[Rassol2]

1 час назад, lololod3 сказал:

да он парсит но глубина вложения 3 амне нужно 4)))

Так понятное дело.
https://elmantrade.ru/countries-brands/lb-ceramics.html?curPos=60

 

Тут то нету 4уровня. Странно было бы если модуль находил эти ссылки )))

[Rassol2]

2 часа назад, ZevZ сказал:

А в списке самые ходовые регулярные выражения с пояснением. Нажал, оп, и выражение с правильным синтаксисом ставилось в поле, подправил буковки и усе...

А так, надо лезь, искать, и еще смотреть, как их правильно написать....

Это из удобств...

Этого никогда не будет.
Потому что регулярные выражения это настройка под нужды. Ей нужно делать самому.
Сам процесс поиска решения гораздо важнее чем само решение.

Выбирая что то из выпадающего списка вы лишаете человека желания думать. А в этом деле без этого никуда.

И нет ничего удобного в этом.
К примеру я многим правлю настройки, и правилами из этого списка
https://simplepars.top/index.php?page=note&n=37

За все время пользовался два максимум три раз.
Еще раз, ЗА ВСЕ ВРЕМЯ.
Я не лукавлю, они просто ненужны, из всего списка я только использую

{reg[#[^0-9.,]#]}| - Удалит из текста все кроме цифр. Точек, и запятых. Они нужны для указания десятичных

Для цены когда влом очищать от тегов. И то это правило вожу руками.
И остальные правила что там написаны ненужны, либо встречаются один раз в високосный год, и ради этого я тянуть в модуль их не буду.

Пример:
{reg[#\s{2,}#]}|
  |

{reg[#\t#]}|

 | - тут в левой стороне таб но форум не дает записать его.

{reg[#\r\n#]}|

{br}|

{reg[#^(\s|\t)+#m]}|
{br}|
  |

{reg[#<img(.*?)>#]}||

<img{skip}>|

 

Красным регулярки, зеленым аналог без них.
Аналог быстрее и проще вручную набрать чем искать в выпадающем списке регулярку.
Это стало возможно благодаря тому что модуль думает о "простых смертных"

А то где действительно нужно использовать регулярки, и без них никуда, это каждый раз настраивание под каждый конкретный случай, и тут не можете быть выпадающего списка с вариантами. так же как нет выпадающего списка с вариантами настройки границ парсинга, под самые частые случаи.

[Rassol2]

2 часа назад, ZevZ сказал:

Если обновиться, настройки не слетят?

Нет не слетят.

Кстати вы не ответили на один вопрос, как у вас будет время опишите пожалуйста. Было бы интересно почитать.

В 24.04.2021 в 12:09, Rassol2 сказал:

Или правильно поставить вопрос так.
Что нужно сделать по вашему мнению, что бы модуль считался для обычных смертных ?

[ZevZ]

7 часов назад, Rassol2 сказал:

Нет не слетят.

Кстати вы не ответили на один вопрос, как у вас будет время опишите пожалуйста. Было бы интересно почитать.

Реально, я бы много чего добавил, в виде плюшек.

Вот как вариант же, выше написал про вставку регулярок из готового списка.

Хотя бы самые основные.

Напишу чуть позже... Но это же будет чисто мое, многие могут не поддержать...

[ZevZ]

Вроде крон запустился, а на почту сыпятся вот такие сообщения, что делать?

 

Запуск отменен, крон предполагает что один из процессов не завершен.<br>
                        Если процесс парсинга не идет, а вы видите это сообщение, то возможно выполнение скрипта было остановлено аварийно.<br>
                        Блокировка выполнение будет снята через <b style='color: #a94442;'>00:04:33</b>

[Rassol2]

6 минут назад, ZevZ сказал:

Вроде крон запустился, а на почту сыпятся вот такие сообщения, что делать?

 

Запуск отменен, крон предполагает что один из процессов не завершен.<br>
                        Если процесс парсинга не идет, а вы видите это сообщение, то возможно выполнение скрипта было остановлено аварийно.<br>
                        Блокировка выполнение будет снята через <b style='color: #a94442;'>00:04:33</b>

Отключите отправку сообщений на почту.
Это сделано что бы "смертные" понимали что процесс выполняется, и повторно запускать его ненужно.
В инструкции не написано что нужно ставить отправку уведомлений на почту. Следуйте инструкции.

[khamer89]

Всем привет! Подскажите пожалуйста по паре вопросов:

 

1. Делаю парсинг позиций с сайта поставщика. У него есть 1000 позиций, при этом 300 позиций уже есть в каталоге, уже проинденсированы и находятся в поиске. Можно ли как-то привязять эти проинденсированные товары к ссылкам, чтобы обновлять цены с сайта поставщика? Или нужно удалять те позиции, и парсить все позиции заново?

 

2. Бывает так, что ссылки на товары на сайте донора идут с цифровым номером:

https://www.metallcab.ru/catalog/shkafy_bukhgalterskie/shkafy_bukhgalterskie_kb_kbs/6554/

Ссылки на каталог идут без цифр, а именно на товары с цифрами.

Можно ли как-то настроить условие фильтрации через регулярное выражение, что если сразу после слеша есть какая-либо цифра, то ссылку оставляем?

 

Спасибо!

[Rassol2]

13 минут назад, khamer89 сказал:

1. Делаю парсинг позиций с сайта поставщика. У него есть 1000 позиций, при этом 300 позиций уже есть в каталоге, уже проинденсированы и находятся в поиске. Можно ли как-то привязять эти проинденсированные товары к ссылкам, чтобы обновлять цены с сайта поставщика? Или нужно удалять те позиции, и парсить все позиции заново?

Здравствуйте.
да можно, привязка идет по идентификатору товара.

Что может быть идентификатором описано здесь
https://simplepars.top/index.php?page=note&n=40

 

13 минут назад, khamer89 сказал:

2. Бывает так, что ссылки на товары на сайте донора идут с цифровым номером:

https://www.metallcab.ru/catalog/shkafy_bukhgalterskie/shkafy_bukhgalterskie_kb_kbs/6554/

Ссылки на каталог идут без цифр, а именно на товары с цифрами.

Можно ли как-то настроить условие фильтрации через регулярное выражение, что если сразу после слеша есть какая-либо цифра, то ссылку оставляем?

 

Спасибо!

Да конечно, такая возможность есть.
Примерно вот так это будет выглядеть.
 

Спойлер

Третий вопрос будет от меня.
Напишите номер покупки модуля. не вижу вас в списке покупателей.
Заранее спасибо.

[khamer89]

26 минут назад, Rassol2 сказал:

Здравствуйте.
да можно, привязка идет по идентификатору товара.

Что может быть идентификатором описано здесь
https://simplepars.top/index.php?page=note&n=40

 

Да конечно, такая возможность есть.
Примерно вот так это будет выглядеть.
 

  Скрыть контент

Третий вопрос будет от меня.
Напишите номер покупки модуля. не вижу вас в списке покупателей.
Заранее спасибо.

 

1. Я ведь правильно понимаю логику, что если мы парсим в интернет-магазин, и ставим идентификатором например "Код товара", то при парсинге модуль привязывает ссылку донора к этому показателю идентификатора? И мне получается нужно будет собрать все 1000 ссылок с сайта донора, спарсить их все в магазин, затем старым 300 товарам нужно установить новые значения идентификатора? Или можно в модуле где-то у самих ссылок где-то изменить идентификатор, и присвоить им значение "Код товара" тех позиций, которые у меня уже есть в каталоге, и уже проиндексированные?

3. Я покупал 2 ваши лицензии 

[Rassol2]

8 минут назад, khamer89 сказал:

1. Я ведь правильно понимаю логику, что если мы парсим в интернет-магазин, и ставим идентификатором например "Код товара", то при парсинге модуль привязывает ссылку донора к этому показателю идентификатора? И мне получается нужно будет собрать все 1000 ссылок с сайта донора, спарсить их все в магазин, затем старым 300 товарам нужно установить новые значения идентификатора? Или можно в модуле где-то у самих ссылок где-то изменить идентификатор, и присвоить им значение "Код товара" тех позиций, которые у меня уже есть в каталоге, и уже проиндексированные?

Нет не верно.
Вы настраиваете париснг любого элемента у донора. Допустим в границу парсинга {gran_1}
Указываете эту границу париснга как SKU

дальше модуль парсит страницу донора, получает содержимое границы {gran_1} и ишит у вас в магазине товар с таким же SKU
Если находит значит модуль может обновить товар, так как связь установлена.
Если не находит модуль сообщит что товар не был обновлен потому что у вас в магазине нет товара где sku = *****

Ссылки тут не причем, они не играют роли в связи ваших товаров и товаров донора. (Кроме тех случаев где вы специально ссылку не делаете идентификатором.)
Поскольку ссылки сами по себе тоже не статичны и могут сменятся, а так же один и тот же товар может иметь две и более ссылок.

[Rassol2]

@khamer89 Ремарка, я пишу везде sku но подразумеваю идентификатор товара.
Которым можете выступать

1. Артикул [sku]
2. Код товара [model]
3. Название [name] НЕ РЕКОМЕНДУЕТСЯ
4. Универсальный код [upc]
5. Европейский номер товара [ean]
6. Японский штрихкод [jan]
7. Номер книжного издания [isbn]
8. Номер партии [mpn]
9. Поле расположение [location]
    

Как вы поняли из статьи - https://simplepars.top/index.php?page=note&n=40

[partshez]

12 минут назад, khamer89 сказал:

 

1. Я ведь правильно понимаю логику, что если мы парсим в интернет-магазин, и ставим идентификатором например "Код товара", то при парсинге модуль привязывает ссылку донора к этому показателю идентификатора? И мне получается нужно будет собрать все 1000 ссылок с сайта донора, спарсить их все в магазин, затем старым 300 товарам нужно установить новые значения идентификатора? Или можно в модуле где-то у самих ссылок где-то изменить идентификатор, и присвоить им значение "Код товара" тех позиций, которые у меня уже есть в каталоге, и уже проиндексированные?

3. Я покупал 2 ваши лицензии 

На Вашем сайте есть товар с артикулом 123456. На доноре есть этот же товар с артикулом 123456. Запускаем парсинг. Модуль видит на Вашем сайте 123456. Не создает новый, а обновляет существующий.

Если не совсем понятно, пишите в личку

[khamer89]

9 минут назад, Rassol2 сказал:

Нет не верно.
Вы настраиваете париснг любого элемента у донора. Допустим в границу парсинга {gran_1}
Указываете эту границу париснга как SKU

дальше модуль парсит страницу донора, получает содержимое границы {gran_1} и ишит у вас в магазине товар с таким же SKU
Если находит значит модуль может обновить товар, так как связь установлена.
Если не находит модуль сообщит что товар не был обновлен потому что у вас в магазине нет товара где sku = *****

 

Если у донора например код 2061, я настраиваю его в границу {gran_1}, и указываю эту границу как "Код товара (model)", а у меня уже есть под этим номером позиция другого товара и другого производителя, то я могу например при парсинге в границу "Код товара" сделать дополнение-приставку? например pos через поиск-замену, чтобы "Код товара" в итоге получился pos2061, и указать модулю чтобы при парсинге содержимого донора, чтобы когда модуль найдет значение  {gran_1}, то есть 2061, чтобы перед сравнением он также добавил приставку pos? Спрашиваю потому, чтобы не возникло путаницы в дальнейшем, когда у разных поставщиков могут быть пересечения по какому-то общему значению. 

[Rassol2]

1 минуту назад, khamer89 сказал:

Если у донора например код 2061, я настраиваю его в границу {gran_1}, и указываю эту границу как "Код товара (model)", а у меня уже есть под этим номером позиция другого товара и другого производителя, то я могу например при парсинге в границу "Код товара" сделать дополнение-приставку? например pos через поиск-замену, чтобы "Код товара" в итоге получился pos2061, и указать модулю чтобы при парсинге содержимого донора, чтобы когда модуль найдет значение  {gran_1}, то есть 2061, чтобы перед сравнением он также добавил приставку pos? Спрашиваю потому, чтобы не возникло путаницы в дальнейшем, когда у разных поставщиков могут быть пересечения по какому-то общему значению. 

Да конечно, такая возможность есть.
Можете как на этапе поиск замены.
 

Спойлер

так и на этапе загрузки в магазин. Разницы нет результат будет тот что вам нужно.
 

Спойлер

 

[partshez]

25 минут назад, Rassol2 сказал:

Да конечно, такая возможность есть.
Можете как на этапе поиск замены.
 

  Показать контент

так и на этапе загрузки в магазин. Разницы нет результат будет тот что вам нужно.
 

  Показать контент

 

Из опыта. Если сделать таким образом, страница категории или отзывов (не товар) будет спарсена и загружена модулем с артикулом pos. Далее модуль найдет еще одну страницу без реального артикула и обработает ее по идентификатору pos. И так много нетоварных ссылок будут обработаны и обновлены. Итог- товар с идентификатором pos всегда будет на сайте. Модуль, сервер, донор загружен бестолковой работой. 

Чтобы такого не происходило, делаем так. Парсим границу идентификатора с границами. http://prntscr.com/125d0xx  А уже в Поиске/замене превращаем границу перед идентификатором в нужный нам префикс  http://prntscr.com/125d3po  . В этом случае получим идентификатор только на страницах товара (с нужным нам префиксом).