[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 минуту назад, kamrik сказал:

Именно. Но это это не принципиально. Замена донора решила проблему!

Это не решение проблемы а уход от нее.
Но главное что бы выша задача была решена.

Теперь для всех если вы не видите запрос, возможно у вас в браузере выключено непрерывное легирование.

Спойлер

 

[partshez]

Всем привет! Не могу сообразить. Или Пром изменил что-то на своих сайтах, или я тугодум. Вчера фото были нормальные, сегодня дурдом!

https://images.ua.prom.st/2390152443_100-krem-farba-estel.jpg

Вроде бы файл .jpg. Но при парсинге или попытке сохранить на компе, сохраняется в .webp. Как так? Пробовал на трех серверах. Пока не понял, как нормально спарсить.

Это ссылка на товар https://monako.com.ua/p1184437195-100-krem-farba.html

В Менеджере изображений превью фото не вижу  http://prntscr.com/13qhy6z  На сайте изображения нет. Но при попытке открыть из Менеджера изображений получаю фото  http://80.89.237.34/image/catalog/product/tm_timpa_nabor_chehol__pled_na_kushetku_goluboj_1.jpg

Не понимаю, где копать.

При попытке обновить модуль Не удается загрузить /web/default.domain/public_html/image/catalog  http://prntscr.com/13qigk9

Папкам image и catalog установил права 777

 

Змінено 2 червня 2021 користувачем partshez

[Rassol2]

45 минут назад, partshez сказал:

При попытке обновить модуль Не удается загрузить /web/default.domain/public_html/image/catalog  http://prntscr.com/13qigk9

Папкам image и catalog установил права 777

Это не важно. такое часто, пишет что нельзя загрузить папки что есть.
По поводу webp возможно ночью, а скорее уже завтра выйдет версия с первой реализацией поддержки webp парсером.
то есть модуль будет пытаться сам разрулить такие фото и пере конвертировать под opencart

Инструкция по работе с этой фишкой уже написано, осталось провести последние тесты и выложить.
https://simplepars.top/index.php?page=note&n=45

[partshez]

6 минут назад, Rassol2 сказал:

Это не важно. такое часто, пишет что нельзя загрузить папки что есть.
По поводу webp возможно ночью, а скорее уже завтра выйдет версия с первой реализацией поддержки webp парсером.
то есть модуль будет пытаться сам разрулить такие фото и пере конвертировать под opencart

Инструкция по работе с этой фишкой уже написано, осталось провести последние тесты и выложить.
https://simplepars.top/index.php?page=note&n=45

Читал. Ждем

[Kytsya_]

Добрый день, в логах пишет: Страница недоступна, слишком много запросов за короткое время. Ответ сервера [429] . Что можно с этим сделать?

[partshez]

34 минуты назад, Kytsya_ сказал:

Добрый день, в логах пишет: Страница недоступна, слишком много запросов за короткое время. Ответ сервера [429] . Что можно с этим сделать?

Увеличить паузу. Записать куки и заголовки. Попробовать с авторицацией по возможности. Если не поможет, прокси. Или найти другого донора 

[Rassol2]

Обновление v4.4-6_beta

Как уже повелось чем глобальнее обновления тем сложнее мне его описать.
В этот раз много исправлений которые не запомнились и не записались так что только о глобальных.

Сделано много мелких правок которые не смогу назвать

Парсинг в ИМ.
Исправления ошибок работы функции обновление изображений с удалением старых.

Добавлена возможность парсинга изображений в формате webp

Подробно здесь  - https://simplepars.top/index.php?page=note&n=45

Модуль адаптирован под работу с HYPER MULTI PRODUCT MODELS
Подробная инструкция здесь - https://simplepars.top/index.php?page=note&n=46

 

Так что теперь вы можете парсить и обеднять товары в группы для модуля HPM

Версии HPM которые поддерживаются.

https://opencartforum.com/files/file/7096-ajax-zamena-tovara-po-modeljam-hyper-product-models-oc-2/

https://opencartforum.com/files/file/7505-30x-ajax-zamena-tovara-po-modeljam-hyper-product-models-oc-3/

https://opencartforum.com/files/file/8665-hyper-multi-product-models-ajax-multi-zamena-tovara-po-modeljam-oc-2/

https://opencartforum.com/files/file/8666-oc3-hyper-multi-product-models-ajax-multi-zamena-tovara-po-modeljam-oc-3/

 

@mpn2005 спасибо за помощь в адаптации

 

Так же при обновлении не забываем выполнять ./inst.php

[travkovs]

На ПРОДЕЛО.биз   загрузите пожалуйста

[Rassol2]

1 минуту назад, travkovs сказал:

На ПРОДЕЛО.биз   загрузите пожалуйста

Когда происходят вмешательства в ядро модуля я обновляю только здесь.
И спустя несколько дней везде.

Поскольку если сейчас начнутся проблемы, мне пороше быстрее разрулить их на одной площадке, чем разрываться не весь мир.
Ближайшие сутки двое модуль появится везде.

[travkovs]

хорошо

[Bogdan_24]

Имел опыт в работе с этим парсером, хотелось бы предложить идею по улучшению.
Часто бывает, при парсинге описания нужно переносить сразу код html, а не вырезать только текст.
Модуль это позволяет делать и это хорошо, но зачастую остаются открытые/незакрытые тэги html (div, p и прочие), следовательно из за этого валидатор выдаст ошибку и в самой карточке товара может что-то сломаться.
Лично я решаю это тем, что дописываю закрывающие тэги (хотя это считается за костыль), но не суть.

Сама идея: было бы неплохо если плагин пробегался и сам закрывал или удалял ненужные тэги.

Спойлер

 

 

 

[Rassol2]

1 час назад, Bogdan_24 сказал:

Сама идея: было бы неплохо если плагин пробегался и сам закрывал или удалял ненужные тэги.

Здравствуйте.
Для начала прячьте большие скриншоты под спойлер, это повышает читабельность.

Суть в том что определение и удаление не закрытых тегов это трудоемкая задача.
Сродни написания своего браузера на php который будет раскладывать код на дом дерево.
Эта задача несоизмерима по сложности с её выгодой.

а если вам нужно сохранить какой то html код вы всегда можете заменить открывающий тег этого кода на [ затем выполнить
<{skip}>| это удалит все остальные теги.
И после вернуть теги заменив [|<

к примеру <p> текст</p>
<p|[p

</p|[/p
[p> текст[/p>
затем удаляем весь htmp
<{skip}>|

И возвращаем теги обратно.

[p|<p

[/p|</p

 

Как то так с этим вопросом.

[amd4]

В 25.05.2021 в 01:22, Rassol2 сказал:

Нет, категорию можно взять только с карточки товара.
 

 

да заметил что в это поле не добавлен логические операторы.
В солирующей бете будут.
либо откройте
/admin/model/catalog/simplepars.php
найдите строку.
$form['model'] = substr(trim(str_replace('{csvnc}','',$form['model'])), 0, 64);
И замените ее на
 $form['model'] = substr(trim($this->madeLogicalMathem(str_replace('{csvnc}','',$form['model']), 'str'), 0, 64);

 

И будет доступна.

Доброго дня! Не забыли про это в новой версии? 

[Rassol2]

Доброго дня! Не забыли про это в новой версии? 

Точно ответить смогу только через 2-3 часа.

Отправлено с телефона через Tapatalk

[Zeeper]

Проблемма при парсинге. Не отображается код страницы. Выбивает данный код. 

Возможно ли это обойти через данный модуль ? 

1. #[url]https://www.laredoute.fr/ppdp/prod-534761561.aspx#searchkeyword=Pataugas&shoppingtool=search[/url]
2. <html><head><title></title><script type="text/javascript" src="/ruxitagentjs_ICA27SVfghjqrux_10215210506134511.js" data-dtconfig="rid=RID_-787342645|rpid=262162328|domain=laredoute.fr|reportUrl=https://bf27729yho.bf.dynatrace.com/bf|app=62e990e2c509183a|ssc=1|coo=1|cors=1|rcdec=1209600000|featureHash=ICA27SVfghjqrux|vcv=2|rdnt=1|uxrgce=1|srcss=1|bp=3|srmcrv=10|cuc=lk6mh69k|mel=100000|dpvc=1|md=mdcc1=cTheseusCustomerNumber,mdcc2=bs_adb.pageName,mdcc3=bp.pageURL,mdcc4=bs.pageType,mdcc5=be.purchaseID,mdcc6=be.transactionID,mdcc7=bs_adb.visitorID,mdcc8=bs_campaign,mdcc9=bchannel,mdcc10=bs_adb.events,mdcc11=bnavigator.userAgent,mdcc12=btc_vars.order_products|ssv=4|lastModification=1622551094660|mdp=mdcc2,mdcc3,mdcc4,mdcc5,mdcc6,mdcc7,mdcc8,mdcc9,mdcc10|dtVersion=10215210506134511|srmcrl=1|tp=500,50,0,1|uxdcw=1500|vs=2|agentUri=/ruxitagentjs_ICA27SVfghjqrux_10215210506134511.js"></script><style>#cmsg{animation: A 1.5s;}@keyframes A{0%{opacity:0;}99%{opacity:0;}100%{opacity:1;}}</style></head><body style="margin:0"><p id="cmsg">Please enable JS and disable any ad blocker</p><script>var dd={'cid':'AHrlqAAAAAMAnBMarDg7GvEAwhxUxQ==','hsh':'084200D12B610EBABE2DEA08243C29','t':'fe','s':3639,'host':'geo.captcha-delivery.com'}</script><script src="https://ct.captcha-delivery.com/c.js"></script></body></html>
   
   Главная фраза здесь Please enable JS and disable any ad blocker

[Rassol2]

3 часа назад, amd4 сказал:

Доброго дня! Не забыли про это в новой версии? 

Да действительно это забыл.
Но сегодня будет первый корректирующий релиз.
Где то в ближе к 23.00

[Rassol2]

1 час назад, Zeeper сказал:

Проблемма при парсинге. Не отображается код страницы. Выбивает данный код. 

Возможно ли это обойти через данный модуль ? 

1. #[url]https://www.laredoute.fr/ppdp/prod-534761561.aspx#searchkeyword=Pataugas&shoppingtool=search[/url]
2. <html><head><title></title><script type="text/javascript" src="/ruxitagentjs_ICA27SVfghjqrux_10215210506134511.js" data-dtconfig="rid=RID_-787342645|rpid=262162328|domain=laredoute.fr|reportUrl=https://bf27729yho.bf.dynatrace.com/bf|app=62e990e2c509183a|ssc=1|coo=1|cors=1|rcdec=1209600000|featureHash=ICA27SVfghjqrux|vcv=2|rdnt=1|uxrgce=1|srcss=1|bp=3|srmcrv=10|cuc=lk6mh69k|mel=100000|dpvc=1|md=mdcc1=cTheseusCustomerNumber,mdcc2=bs_adb.pageName,mdcc3=bp.pageURL,mdcc4=bs.pageType,mdcc5=be.purchaseID,mdcc6=be.transactionID,mdcc7=bs_adb.visitorID,mdcc8=bs_campaign,mdcc9=bchannel,mdcc10=bs_adb.events,mdcc11=bnavigator.userAgent,mdcc12=btc_vars.order_products|ssv=4|lastModification=1622551094660|mdp=mdcc2,mdcc3,mdcc4,mdcc5,mdcc6,mdcc7,mdcc8,mdcc9,mdcc10|dtVersion=10215210506134511|srmcrl=1|tp=500,50,0,1|uxdcw=1500|vs=2|agentUri=/ruxitagentjs_ICA27SVfghjqrux_10215210506134511.js"></script><style>#cmsg{animation: A 1.5s;}@keyframes A{0%{opacity:0;}99%{opacity:0;}100%{opacity:1;}}</style></head><body style="margin:0"><p id="cmsg">Please enable JS and disable any ad blocker</p><script>var dd={'cid':'AHrlqAAAAAMAnBMarDg7GvEAwhxUxQ==','hsh':'084200D12B610EBABE2DEA08243C29','t':'fe','s':3639,'host':'geo.captcha-delivery.com'}</script><script src="https://ct.captcha-delivery.com/c.js"></script></body></html>
   
   Главная фраза здесь Please enable JS and disable any ad blocker

Здравствуйте.
Напишите мне в лс где вы приобретали модуль и номер заказа.
так же ссылку на донора и я посмотрю как это можно обойти.

[Rassol2]

Обновление v4.4-7_beta

Мелкие исправления ошибок.
Так же добавлены логические и арифметические операторы в поле model
Подробнее про эти операторы можно прочесть здесь - https://simplepars.top/index.php?page=note&n=33

[Axelenz]

Столкнулся с ситуацией, когда не получается простым способом удалить конструкцию, например, вот такого плана:

<p><em> </em></p>

Использовать регулярные выражения не вижу смысла, а штатными не получается, предвидя вопрос, сразу отвечаю:

и копировал с текста, и вставлял сам пробел и в нотепад смотрел что там... но не удаляется это так просто.

Единственный способ, которым снёс, не прибегая к помощи регулярных выражений:

<p><em>{.}</em></p>|

но этот способ меня не устраивает... мало ли что туда может случайно попасть при ошибке заполнения: цифра или буква...

 

Предлагаю расширить основные операторы в поиск замене на:

{_} - Один любой пробельный горизонтальный символ.

И туда запихнуть абсолютно все возможные горизонтальные пробельные символы, включая юникодовские...

{_*} - группа любых пробельных горизонтальных символов.

И чтобы удаляло всю группу последовательных пробельных горизонтальных символов в любой последовательности, пока не встретит НЕ пробельный символ.

[Rassol2]

7 минут назад, Axelenz сказал:

Столкнулся с ситуацией, когда не получается простым способом удалить конструкцию, например, вот такого плана:

<p><em> </em></p>

Использовать регулярные выражения не вижу смысла, а штатными не получается, предвидя вопрос, сразу отвечаю:

и копировал с текста, и вставлял сам пробел и в нотепад смотрел что там... но не удаляется это так просто.

Единственный способ, которым снёс, не прибегая к помощи регулярных выражений:

<p><em>{.}</em></p>|

но этот способ меня не устраивает... мало ли что туда может случайно попасть при ошибке заполнения: цифра или буква...

 

Предлагаю расширить основные операторы в поиск замене на:

{_} - Один любой пробельный горизонтальный символ.

И туда запихнуть абсолютно все возможные горизонтальные пробельные символы, включая юникодовские...

{_*} - группа любых пробельных горизонтальных символов.

И чтобы удаляло всю группу последовательных пробельных горизонтальных символов в любой последовательности, пока не встретит НЕ пробельный символ.

Ну это же получается нужно пере изобретать регулярные выражения.
Скиньте настройки проекта ссылку и границу где этот кусок кода попадается.
Мне интересно что же там такое что не получается обычными средствами по типу.
{skip}
{.*}
 

[Axelenz]

Только что, Rassol2 сказал:

Мне интересно что же там такое что не получается обычными средствами по типу.
{skip}
{.*}

Так удалить можно, но... а что делать с такой конструкцией, где есть полезный текст:

<p><em>Текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст</em></p>

Её тоже удалить ?

[Rassol2]

1 минуту назад, Axelenz сказал:

Так удалить можно, но... а что делать с такой конструкцией, где есть полезный текст:

<p><em>Текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст текст</em></p>

Её тоже удалить ?

Тогда получается это классическая схема для применения регулярок.
Как раз тот случай когда вы описываете определенный шаблон текста который вы хотите отавить а какой удалить.
Они для этого и есть.

А если пойти по вашему пути тогда

{_}
{_*}
{_+}
{\d}

{\d*}
{\d+}
{\D}

{\D+}

{\D*}

 

Затем придёт кто то и скажет:
У на есть свои пропуски, есть пропуски одного символа, пропуски пробелов, и есть численные символы и не численные. А вот если бы еше был оператор или {|}
Вообще бомба была бы. Или не хватает своих скобочек для группировки правил.

Но зачем все это если есть регулярки, инструмент который:
1. Был создан для этого.
2. Работать будет гораздо быстрее чем моя надстройка над ними.

Не забывайте что все вот эти кавычки созданные для быстрого вхождения в вопрос поиск замены работают как надстройка над регулярными выражениями.
{skip} = (.*?)
{.*} = (.*)
{.} = (.)
Это все ресурсы.

Как это работает.
1. Модуль получает правую сторону правила.
2. Экранирует все символы.
3. Определяет есть ли там спец операторы, и заменяет их на аналог в регулярных выражениях
4. Отправляет подготовленное правило в интерпретатор регулярок.

А как работают регулярки.
1. Модуль определяет что с правой стороны регулярное выражения.
2. Отправляет правило в интерпретатор регулярных выражений.

Сейчас как по мне в модуле поддерживается некий баланс.
И тот случай что описан скорее исключение чем правило которое таких изменений.

[Axelenz]

Всем желающим почистить текст от "паразитных" пустых тегов с пробельными символами или без них, предлагаю использовать регулярные выражения типа:

{reg[#(\<.+\>\h*?\</.+\>)*?#u]}|
{reg[#^\s+|\s+$#m]}|

 

Текст до и после обработки см. на картинке, там всё понятно...

Спойлер

 

 

 

Змінено 4 червня 2021 користувачем Axelenz

[Rassol2]

40 минут назад, Axelenz сказал:

Всем желающим почистить текст от "паразитных" пустых тегов с пробельными символами или без них, предлагаю использовать регулярные выражения типа:

{reg[#(\<.+\>\h*?\</.+\>)*?#u]}|
{reg[#^\s+|\s+$#m]}|

 

Текст до и после обработки см. на картинке, там всё понятно...

А почему к примеру просто не сделать так.
<{skip}>|
  | - здесь справа от слеша два пробела.

Я как то не сталкивался за свою практику с не необходимостью делать регулярки для решения этой задачи.
 

[yurok79]

Подскажите, почему в некоторых карточках могут не отображаться атрибуты. В админке есть, а в карточке нет.