[Поддержка] SimplePars - Універсальний парсер для ІМ

[mirek]

27.04.2023 в 17:55, Axelenz сказал:

что хотите получить в итоге ? Если просто подряд идущие </div></div> то так и напишите

Так 

{reg[#(\s*</div>\s*)+$#]}|</div></div>

не работает тоже

[Axelenz]

27.04.2023 в 17:59, mirek сказал:

27.04.2023 в 17:55, Axelenz сказал:

что хотите получить в итоге ? Если просто подряд идущие </div></div> то так и напишите

Так 

{reg[#(\s*</div>\s*)+$#]}|</div></div>

не работает тоже

Да, это не хорошее место Вы выбрали для регулярных выражений...

А зачем привязываться именно к этим </div> ?

Змінено 27 квітня 2023 користувачем Axelenz

[mirek]

27.04.2023 в 18:00, Axelenz сказал:

не хорошее место Вы выбрали для регулярных выражений

Так я и пишу, что и {reg[#<\/div>#} даже  не работает. Это скорее всего значит, что в поле "Текст конца парсинга" не срабатывают регулярные выражения вообще

[Rassol2]

27.04.2023 в 10:04, mirek сказал:

Так я и пишу, что и {reg[#<\/div>#} даже  не работает. Это скорее всего значит, что в поле "Текст конца парсинга" не срабатывают регулярные выражения вообще

Ну там они и не работают!!!

[Axelenz]

27.04.2023 в 18:04, mirek сказал:

Это скорее всего значит, что в поле "Текст конца парсинга" не срабатывают регулярные выражения вообще

А зачем настолько сложные манипуляции ? Больше не к чему прицепиться, чтобы обрисовать границы ???

Возьмите то, что следует за этими </div> и имеет вид, не повторяющийся с тем, что будет находиться в границах...

Используйте при желании основные операторы для замены:

https://simplepars.top/index.php?page=note&n=9

Змінено 27 квітня 2023 користувачем Axelenz

[Rassol2]

27.04.2023 в 10:04, mirek сказал:

Так я и пишу, что и {reg[#<\/div>#} даже  не работает. Это скорее всего значит, что в поле "Текст конца парсинга" не срабатывают регулярные выражения вообще

Это может оказаться неожиданным но все же я укажу место куда нужно писать правила поиск замены.
 

Скрытый текст

 

[mirek]

27.04.2023 в 18:06, Axelenz сказал:

зачем настолько сложные манипуляции ?

Так мне бы и в голову не пришло, что это сложные манипуляции   Просто пропустить пробелы, табы и перевод каретки

 

27.04.2023 в 18:06, Axelenz сказал:

Возьмите то, что следует за этими </div>

За этими </div> идет <script> очень длинный.  И также после пробелов, табов и перевода каретки

 

[Axelenz]

27.04.2023 в 19:04, mirek сказал:

За этими </div> идет <script> очень длинный.  И также после пробелов, табов и перевода каретки

А что Вам мешает так и написать для конца границы:

<script

Змінено 27 квітня 2023 користувачем Axelenz

[mirek]

27.04.2023 в 18:05, Rassol2 сказал:

там они и не работают!

То есть регулярные выражения не работают в полях "Текст начала парсинга" и "Текст конца парсинга" ?  Это не очевидно. В инструкциях не увидел об этом информации

[Rassol2]

27.04.2023 в 11:04, mirek сказал:

Так мне бы и в голову не пришло, что это сложные манипуляции   Просто пропустить пробелы, табы и перевод каретки

 

За этими </div> идет <script> очень длинный.  И также после пробелов, табов и перевода каретки

 

Что то мне подсказывает что проше будет если вы дадите настойки вашего проекта напишите в какой границе смотреть и ссылку на которой тестировать.
Так как на словах все получается как то криво. А вот с действительными настройками будет проше и быстрее.
так же можете приложить скришот исходного текста где выделить какую часть вы бы хотели отрезать.
 

[Rassol2]

27.04.2023 в 11:10, mirek сказал:

Это не очевидно. В инструкциях не увидел об этом информации

А вы видели что регулярные выражения не работают на кофеварках, холодьльниках и микроволновках ?
Ведь в инструкции к данным приборам это не указано.

Я не стебусь а указываю на то что у вас в корне не верный взгляд, работает там где указано а не там где не указано.
Просто странно ожидать что я буду перечислять все поля модуля где регулярные выражения не будут работать.

Есть целая инструкция под название правила поиск замены.
https://simplepars.top/index.php?page=note&n=9
Где описаны правила поиск замены в том числе поддержка регулярных выражений.

Есть инструкция к поля добавить в начало и в конец
https://simplepars.top/index.php?page=note&n=10
Где ни слова о поиск замене, там описано что это за поля как работают.

Ну и мне кажется несправедливо писать что не очевидно что там что то не работает.
Как по мне не очевидно пытаться там использовать регулярки. Вот от слова вообще.

[Rassol2]

О заодно поправил не стыковку.
 

Скрытый текст

Это уже пару лет как не актуально и доработано.
Удалил из инструкции.

[mirek]

27.04.2023 в 19:07, Axelenz сказал:

А что Вам мешает так и написать для конца границы:

<script

Так работает. Просто версия с </div> пробелы </div> логически красивее  </div> html тег который четко указывает на конец блока

 

А <script> могут убрать и парсер перестанет работать

[Rassol2]

Есть некоторые функции которые поддерживает модуль но они не заявлены в инструкциях.
Это тоже сделано специально так как нужны не многим и мне легче предложить решение через такую скрытую фкнцию чем перегружать описания для обычных пользователей.

К примеру правила поиск замены поддерживают подстановку данных из других границ парсинга.
В поле правил, и полях начала и конца парсинга. Но результат такой подстановки вы не увидите в поиск замене, а только в пред просмотре.
Такая логика считается не очевидной. И нужно очень редко.
По этому она не заявлена.

Да простит меня вселенная, сейчас покажу а потом вопросов будет в ЛС.

Кто не понял пожалуйста не используйте, по этому и не для всех.

 

Вы можете в одной границы парсинга подгрузить данные из другой.
Пример
 

Скрытый текст

Но должны понимать что в пред просмотре поиск замены результат не будет виден.
Его вы увидите только в пред просмотре парисинга в им или csv ну и в момент парсинга понятно что все будет работать.

Вот так.
 

Скрытый текст

Данный функционал для тех кто способе сам разбираться в проблема и методом проб и ошибок решать свои задачи.

[Rassol2]

Тоже самое можно делать в правилах поиск замены. Заменять что то на данные из другой границы париснга.

[Axelenz]

27.04.2023 в 19:23, mirek сказал:

Так работает. Просто версия с </div> пробелы </div> логически красивее  </div> html тег который четко указывает на конец блока

Ну можете экспериментировать, например так:

</div>{.}{.}{.}</div>, где {.} - это любой одиночный символ, осталось понять сколько их там...

Но сама суть парсинга, как по мне, заключается в простоте и надёжности работы...

[Axelenz]

@Rassol2

Добрый вечер.

Возможно ли парсить сайт, где используется алгоритм Brotli, что порекомендуете ?

 

Заголовки ответа:

content-encoding:

br

 

Код ответа = 23 | Текст ответа = Unrecognized content encoding type. libcurl understands deflate, gzip content encodings.

 

Или это связано исключительно с использованием OpenServer ? 

Змінено 28 квітня 2023 користувачем Axelenz

[Axelenz]

29.04.2023 в 00:45, Axelenz сказал:

Или это связано исключительно с использованием OpenServer ? 

Не стал тратить время на особые выяснения, тем более, что сервер много лет работал верой и правдой и уже порядком устарел...

Установил последний релиз Open Server 5.4.3 - это последний из 5-й ветки.
Для нормальной работы Opencart рекомендую использовать модули:

Apache_2.4-PHP_7.2-7.4+Nginx-1.23
PHP_7.3
MySQL-5.6

 

В PHP_7.3 убираем комменты перед ioncube
В Apache убираем комменты перед brotli_module 

[mirek]

А вот интересно, что тут 

online.dclink.ua/b2b/

  используют, что оно вообще не парсится ?  Даже если в браузере кликнуть правой кнопкой и выбрать просмотреть код

то откроется страничка с кодом вроде  

<head>
</head>
<body>
  <app></app>
</body>  

И этот app это вся страница которая заполнена если смотреть не код )

[Rassol2]

28.04.2023 в 16:45, Axelenz сказал:

Возможно ли парсить сайт, где используется алгоритм Brotli, что порекомендуете ?

Да возможно. Проста парсите.
 

 

28.04.2023 в 16:45, Axelenz сказал:

Или это связано исключительно с использованием OpenServer ? 

Скорее все с настройками cURL у вас на openServer

[Rassol2]

29.04.2023 в 12:14, mirek сказал:

А вот интересно, что тут 

online.dclink.ua/b2b/

  используют, что оно вообще не парсится ?  Даже если в браузере кликнуть правой кнопкой и выбрать просмотреть код

то откроется страничка с кодом вроде  

<head>
</head>
<body>
  <app></app>
</body>  

И этот app это вся страница которая заполнена если смотреть не код )

Здесь стоит проверка от гугл.
 

Скрытый текст

Пока что не обойти.

[mirek]

29.04.2023 в 20:22, Rassol2 сказал:

Пока что не обойти

Понятно

 

Еще интересно, как парсер сработает если он настроен на обновление но поле по которому происходит сверка пустое в товаре OpenCart ?  Например это может быть sku

 

[partshez]

30.04.2023 в 09:17, mirek сказал:

Понятно

 

Еще интересно, как парсер сработает если он настроен на обновление но поле по которому происходит сверка пустое в товаре OpenCart ?  Например это может быть sku

 

https://simplepars.top/index.php?page=note&n=40

Если sku в товаре донора парсер видит, но в Опенкарт нет товара с таким sku, то ничего не обновится при Обновлении

Змінено 30 квітня 2023 користувачем partshez

[dimonregi_ua]

Вітаю! Парсив товари на сайт по категоріям. Шість категорій (близько 400 товрів спарсились коректно).
Далі почала виникати помилка. З Сьомої категорії товари вже не додаються (мені потрібно з 15 різних категорій додати). Тобто завантаження не починається (по логах пише що такі товари вже є на сайті).

 

Проблема виникла з id товару. Тобто на сайті вже є товари (додані раніше в ручну) з таким ж id як хоче парсити SimplePars. І тому вони не додаються.
Перший раз зтикнувся з такою проблемою. Раніше увагу на це не звертав (парсив близько 10 сайтів) - все було ок.

Можливо якось вирішити цю проблему? Не замінювати ж мені ці ID в ручну .
Дякую. 

 

 

[partshez]

30.04.2023 в 16:31, dimonregi_ua сказал:

Вітаю! Парсив товари на сайт по категоріям. Шість категорій (близько 400 товрів спарсились коректно).
Далі почала виникати помилка. З Сьомої категорії товари вже не додаються (мені потрібно з 15 різних категорій додати). Тобто завантаження не починається (по логах пише що такі товари вже є на сайті).

 

Проблема виникла з id товару. Тобто на сайті вже є товари (додані раніше в ручну) з таким ж id як хоче парсити SimplePars. І тому вони не додаються.
Перший раз зтикнувся з такою проблемою. Раніше увагу на це не звертав (парсив близько 10 сайтів) - все було ок.

Можливо якось вирішити цю проблему? Не замінювати ж мені ці ID в ручну .
Дякую. 

 

 

Настройте парсинг с другим идентификатором

https://simplepars.top/index.php?page=note&n=40