[Поддержка] SimplePars - Универсальный парсер для ИМ

[Reanimaster]

5 минут назад, Rassol2 сказал:

да вижу, чуть позже нырну в регулярки посмотрю в чем может быть причина.
или какое правило составить.

Спасибо. Думается мне может в кодировке дело? Сайт на кириллице.

[Reanimaster]

И да. По тому что я сегодня писал, по поводу ссылок, у меня есть решение, и попутно предложение)

Алгоритм я так понимаю в модуле, если ссылка внутренняя, то добавляется домен. Если сделать чуть иначе, что бы не автоматом добавлялся домен, а подстанавливалась стартовая страница парсинга, то вопрос будет снят. Я думаю это не сложно реализовать, да и авось пригодится еще кому то) 

[Reanimaster]

А может есть регулярка для изменения регистра букв?
Я бы из УРЛ дернул модель. Время жмет)

[Rassol2]

2 минуты назад, Reanimaster сказал:

Спасибо. Думается мне может в кодировке дело? Сайт на кириллице.

точно возможно проблема в юникоде.
Добавьте модификатор регулярки u вот так.
{reg[#[а-яА-Я]#u]}|

Да да, модуль поддерживает в регулярках и Модификаторы шаблонов

[Reanimaster]

Только что, Rassol2 сказал:

точно возможно проблема в юникоде.
Добавьте модификатор регулярки u вот так.
{reg[#[а-яА-Я]#u]}|

Да да, модуль поддерживает в регулярках и Модификаторы шаблонов

Огонь. Спасибо)

[Rassol2]

2 минуты назад, Reanimaster сказал:

И да. По тому что я сегодня писал, по поводу ссылок, у меня есть решение, и попутно предложение)

Алгоритм я так понимаю в модуле, если ссылка внутренняя, то добавляется домен. Если сделать чуть иначе, что бы не автоматом добавлялся домен, а подстанавливалась стартовая страница парсинга, то вопрос будет снят. Я думаю это не сложно реализовать, да и авось пригодится еще кому то) 

а если стартавая ссылка ведет на категорию как быть тогда ?
нет такой подход не идет.

Скорее нужно реализовать поиск замену для ссылок в момент парсинга.

[Reanimaster]

1 час назад, Rassol2 сказал:

а если стартавая ссылка ведет на категорию как быть тогда ?

Вот в моем случае так и есть(

[Reanimaster]

1 час назад, Rassol2 сказал:

Скорее нужно реализовать поиск замену для ссылок в момент парсинга.

Не, ну это вообще будет песня.))
Менеджер ссылок вещь, но без крона - 70% "вещи" теряется(

[Reanimaster]

Нет ли случайно возможности скачивать из описание не только фото, но и другие вложения?
PDF, EXE...

[Kiyoshi]

32 минуты назад, Reanimaster сказал:

Нет ли случайно возможности скачивать из описание не только фото, но и другие вложения?
PDF, EXE...

Данной возможности в парсере нету, доступно только скачивание изображений. Касательно загрузки файлов автор обещал добавить не для описание а глобальней но туда войдут скорей всего форматы файлов которые относятся к документаций.

Змінено 13 листопада 2020 користувачем Kiyoshi

[Reanimaster]

10 минут назад, Kiyoshi сказал:

но туда войдут скорей всего форматы файлов которые относятся к документаций.

Ну это уж совсем не проблема)

[Reanimaster]

Добрый вечер. Может кто сталкивался. При парсинге фото из описания, автоматом дописывается width=100%.

Как побороть?

 

Спойлер

 

[Axelenz]

32 минуты назад, Reanimaster сказал:

Добрый вечер. Может кто сталкивался. При парсинге фото из описания, автоматом дописывается width=100%.

Как побороть?

 

  Показать контент

 

Это width=100% может дописываться только в том случае, если у Вас не правильно указана граница...

Попробуйте вместо "> указать границу "

Змінено 13 листопада 2020 користувачем Axelenz

[Rassol2]

В 13.11.2020 в 20:58, Reanimaster сказал:

Добрый вечер. Может кто сталкивался. При парсинге фото из описания, автоматом дописывается width=100%.

Как побороть?

 

  Показать контент

 

В файле
/admin/model/catalog/simplepars.php
Закоментируйте строку.
$desc = preg_replace('#\{img\}(.*?)'.preg_quote($imgs[$key_path]['short'], '#').'(.*?)>#m', '<img alt="" src="'.$path.'" width="100%">', $desc, 1);
и под ней за раскоментируйте две.
$desc = preg_replace('#\{img\}#', '<img', $desc);
$desc = preg_replace('#src="'.preg_quote($imgs[$key_path]['short'], '#').'"#', 'src="'.$path.'"', $desc, 1);

что бы вышло вот так.
 

Спойлер

Это сделано специально. Так как переносить фото размерами как на сайте доноре чаше всего гораздо хуже.

[Rassol2]

18 минут назад, Axelenz сказал:

Это width=100% может дописываться только в том случае, если у Вас не правильно указана граница...

Попробуйте вместо "> указать границу "

Так работает модуль, что бы пихнуть в описание фото.
дело в том что у доноров фото подбирают под размер их блоков, что бы все выглядело хорошо.
Но что выглядит там хорошо, с их версткой у нас как правило не очень.

[Rassol2]

Правила
{reg[#[а-яА-Я]#u]}| - Удалить из текста буквы кириллического алфавита.
{reg[#[a-zA-z]#]}| - Удалить все буквы латинского алфавита.

Теперь тоже в заметках.
https://simplepars.top/index.php?page=note&n=37

[Rassol2]

Кто использует регулярные выражения в поиск замене, обратите внимание что модуль поддерживает ссылки на группы вхождения.

Что такое ссылки. (Документация PHP)
https://www.php.net/manual/ru/function.preg-replace.php

 

Выдержка.
 

Цитата

replacement может содержать ссылки вида \n, либо $n, причем последний вариант предпочтительней. Каждая такая ссылка будет заменена на подстроку, соответствующую n-ой подмаске. n может принимать значения от 0 до 99, причем ссылка \0 (либо $0) соответствует вхождению всего шаблона. Подмаски нумеруются слева направо, начиная с единицы. Обратите внимание, что обратные слеши в строке (string) литералы могут требовать экранирования.

При замене по шаблону с использованием ссылок на подмаски может возникнуть ситуация, когда непосредственно за маской следует цифра (например, установка цифры сразу после совпавшей маски). В таком случае нельзя использовать знакомую нотацию вида \1 для ссылки на подмаски. Запись, например, \11, смутит preg_replace(), так как она не сможет понять, хотите ли вы использовать ссылку \1, за которой следует цифра 1 или же вы хотите просто использовать ссылку \11, за которой ничего не следует. Это недоразумение можно устранить, если воспользоваться конструкцией ${1}1, использующей изолированную ссылку $1, и следующую за ней цифру 1.

При использовании устаревшего модификатора e эта функция экранирует некоторые символы (а именно ', ", \ и NULL) в строках, замещающих обратные ссылки. Это сделано для удостоверения корректности синтаксиса при использовании обратных ссылок внутри одинарных или двойных кавычек (например, 'strlen(\'$1\')+strlen("$2")'). Убедитесь, что вы владеете синтаксисом обработки строк PHP для того, чтобы точно осознавать, как будет выглядеть интерпретированная строка.

В крации что это такое и как это работает.
Ссылка это как граница парсинга, она ссылается на текст который попадает под определенную группу.
Группа это по сути то что вы обедняете в скобки внутри регулярного выражения.

Дальше записав после | ссылку $1 вы получите после замены только то что попало под первую ссылку. То есть <div> все остальное будет вырезано.

Честно говоря я не селен в регуляторах и не могу сказать конкретный пример где это все будет нужно. Но что то за послении 3 дня меня эти под завалили.
Единственный пример который мне пришел в голову, где это можно использовать.

Допустим у вас есть текст.
<p></p>
И вы хотите внутрь этого тега что то записать, вы можете использовать правило с ссылками.
{reg[#(<p>)(</p>)#]}|$1Что то записал$2
В результате получите.
<p>Что то записал</p>

Вот как это выглядит.
 

Спойлер

Возможно кому то этот функционал тоже понадобится. По этому решил расписать его для всех.
Но я сам слабенький в регулярках, так что кому нужно больше информации зарывайтесь в документацию по регулярным выражениям.

[Dmitry76]

Всем привет. 
Кто знает, как ускорить работу сбора ссылок? А то уже неделю собрать не могу. С двух компов с разным ip будет работать одновременно или конфликт какой-то будет? 

[partshez]

32 минуты назад, Dmitry76 сказал:

Всем привет. 
Кто знает, как ускорить работу сбора ссылок? А то уже неделю собрать не могу. С двух компов с разным ip будет работать одновременно или конфликт какой-то будет? 

Дайте ссылку на донора

[Axelenz]

38 минут назад, Dmitry76 сказал:

Всем привет. 
Кто знает, как ускорить работу сбора ссылок? А то уже неделю собрать не могу. С двух компов с разным ip будет работать одновременно или конфликт какой-то будет? 

 

Вот разработчик модуля пишет про многопоточность... читайте...

 

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=85&tab=comments#comment-1519570

 

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=29&tab=comments#comment-1365304

[Dmitry76]

30 минут назад, partshez сказал:

Дайте ссылку на донора

https://www.eldorado.ru/

[Dmitry76]

23 минуты назад, Axelenz сказал:

 

Вот разработчик модуля пишет про многопоточность... читайте...

 

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=85&tab=comments#comment-1519570

 

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=29&tab=comments#comment-1365304

Спасибо

[partshez]

25 минут назад, Dmitry76 сказал:

https://www.eldorado.ru/

https://prnt.sc/vjfqcx   https://prnt.sc/vjfqjw  - это за доп плату 

Настройки во вложении. Примерно так

eldorado.ru.json

Змінено 15 листопада 2020 користувачем partshez

[Reanimaster]

Добрый вечер. Интересует вопрос. Как при парсинге вычесть из цены опции цену товара?

Что бы плюсом шла только разница.

Спасибо.

 

[Kiyoshi]

24 минуты назад, Reanimaster сказал:

Добрый вечер. Интересует вопрос. Как при парсинге вычесть из цены опции цену товара?

Что бы плюсом шла только разница.

Спасибо.

 

Здравствуйте модуль подобного не умеет. Чтобы цена опции была равна цене товара рекомендую ознакомится с данной статьей.

Змінено 15 листопада 2020 користувачем Kiyoshi