[Поддержка] SimplePars - Универсальный парсер для ИМ

[nikitos192]

Здравствуйте а можете подсказать как сделать разную наценку на одном проекте на разных производителях. Допустим самсунг +10%, toshiba +20% и тд. Заранее благодарю

[partshez]

22.04.2023 в 13:35, dmitriy2506 сказал:

всем привет,  проблема такая один из доноров перешел из обычных опций опен карт на HPM https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x200-sm-555-7

опции теперь лежат в виде ссылок 

<script>
var hpm_products = {
2097: {href:'https://if-matras.com/ua/matrac-highfoam-obeliks-lupen',real:'https://if-matras.com/ua/matrac-highfoam-obeliks-lupen'},
3184: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-80x200-sm-555-1',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-80x200-sm-555-1'},
3185: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x190-sm-555-2',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x190-sm-555-2'},
3186: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x200-sm-555-3',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x200-sm-555-3'},
3187: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x190-sm-555-4',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x190-sm-555-4'},
3188: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x200-sm-555-5',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x200-sm-555-5'},
3189: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x190-sm-555-6',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x190-sm-555-6'},
3190: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x200-sm-555-7',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x200-sm-555-7'},
3191: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x190-sm-555-8',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x190-sm-555-8'},
3192: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x200-sm-555-9',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x200-sm-555-9'},
3193: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x190-sm-555-10',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x190-sm-555-10'},
3194: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x200-sm-555-11',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x200-sm-555-11'},
3195: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-nestandartnyy-razmer-555-12',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-nestandartnyy-razmer-555-12'},
}

можно ли с помощью модуля собрать опции одного товара по ссылкам? может с помощью скриптов как то

https://highfoam.trade/matrac-highfoam-obeliks-lupen  Парсить отсюда... Настройки 99% совпадают. Кроме цены опции

Змінено 22 квітня 2023 користувачем partshez

[Rassol2]

22.04.2023 в 06:31, nikitos192 сказал:

Здравствуйте а можете подсказать как сделать разную наценку на одном проекте на разных производителях. Допустим самсунг +10%, toshiba +20% и тд. Заранее благодарю

Здравствуйте.
Используйте логические операторы if
https://simplepars.top/index.php?page=note&n=50

[dmitriy2506]

22.04.2023 в 17:07, partshez сказал:

https://highfoam.trade/matrac-highfoam-obeliks-lupen  Парсить отсюда... Настройки 99% совпадают. Кроме цены опции

огромное спасибо супер!

[partshez]

20.04.2023 в 21:53, Rassol2 сказал:

Сейчас точно не скажу но попробуйте выбрать + и что бы значение было -150
Вроде там нет очистки от знака отрицания, и это может сработать.

https://parsing.org.ua/modern-bed-solid-wood-acacia-graphite-finish-ms-078.      Работает префикс плюс- минус при выборе опций! 

Змінено 23 квітня 2023 користувачем partshez

[Rassol2]

23.04.2023 в 10:23, partshez сказал:

https://parsing.org.ua/modern-bed-solid-wood-acacia-graphite-finish-ms-078.      Работает префикс плюс- минус при выборе опций! 

Спасибо за фитбек.

[Paracent]

Здравствуйте, посмотрел ваше видео, получилось спарсить сайт, всё норм кроме изображений, у сайта донора изображение формата webp, в настройках Парсинг ИМ, выставил конвертировать в jpeg, конвертирует, но в очень маленьком разрешение, соответственно качества нет, где настраиваются параметры сжатия, если есть такие?

В предосмотре всё чётко отображается SPSHOW качественные картинки, а вот в карточках товара, изображения с низким разрешением, как быть пожалуйста дайте ответ

[mirek]

22.04.2023 в 13:21, Rassol2 сказал:

Ругулярки не могут находится посреди текста.

Спасибо за пояснение. Я вставил в Шаблон ссылок на товар 

{reg[#/p[0-9]*#]}

Кажется получилось. Теперь там нет ссылок вроде /plansheti, /payment и т.д..

 

[Toral]

Вітаю, підкажіть будь ласка по крону та парсингу в ІМ з yml по АПІ
Я так зрозумів, для одного проєкту  потрібно виконати 2 завдання.

Перше - це зібрати посилання, щоб оновилась актуальна інформація з дією видалити посилання на товар перед збором

Друге -  безпосередньо парсинг в ІМ?

[Rassol2]

25.04.2023 в 04:57, Toral сказал:

Вітаю, підкажіть будь ласка по крону та парсингу в ІМ з yml по АПІ
Я так зрозумів, для одного проєкту  потрібно виконати 2 завдання.

Перше - це зібрати посилання, щоб оновилась актуальна інформація з дією видалити посилання на товар перед збором

Друге -  безпосередньо парсинг в ІМ?

Да, если вам нужно получать новые ссылки перед парсингом.

[Toral]

В 01.02.2023 в 00:14, Axelenz сказав:

А на каком хостинге ???

А-а-а... понятно, на каком... на hostiq.ua

У моей клиентки такая же ерунда на этом же хостинге...

 

Я перепробовал все возможные варианты написания задания - не влияет никак... cron не отрабатывает xml на 2000 товаров за 12 часов... А при ручном запуске обрабатывается за 3 минуты...

Вдалось якось це вирішити? 
Те саме, через  крон 4 години оновлюється. А через парсер 20хв

[mirek]

Еще посложнее пример с регулярками. Требуется найти текст конца парсинга состоящий из </div> тут пробелы, табуляция, перенос строки </div>

Часто кстати такое встречается когда между искомыми тегами только пробелы, табуляция, перенос строк.

 

Пытаюсь задать такую регулярку 

{reg[#<\/div>[[:space:][:blank:][:cntrl:]]*<\/div>#]}

Но не работает. При чем оно правильно ищет на валидаторе рег. выражений. Но в парсере это не проходит. Почему ?

 

[Rassol2]

26.04.2023 в 20:24, mirek сказал:

Еще посложнее пример с регулярками. Требуется найти текст конца парсинга состоящий из </div> тут пробелы, табуляция, перенос строки </div>

Часто кстати такое встречается когда между искомыми тегами только пробелы, табуляция, перенос строк.

 

Пытаюсь задать такую регулярку 

{reg[#<\/div>[[:space:][:blank:][:cntrl:]]*<\/div>#]}

Но не работает. При чем оно правильно ищет на валидаторе рег. выражений. Но в парсере это не проходит. Почему ?

 

не совсем понятна задача.
Можете дать кусок текста и показать что отрезать?

[mirek]

27.04.2023 в 15:17, Rassol2 сказал:

Можете дать кусок текста и показать что отрезать?

</div>
                                                                    </div>

Это надо найти

[partshez]

https://www.cdkeys.com/xbox-live/gift-cards-points/xbox-live-4200-microsoft-points-xbox-360

Возможно ли получить нормальный код страницы в Симплпарс? https://prnt.sc/H60_DCIDit2t

[partshez]

27.04.2023 в 16:08, mirek сказал:

</div>
                                                                    </div>

Это надо найти

{reg[#\s{2,}#]}|
{reg[#^\s+|\s+$#m]}|

</div></div>|  Удалить.       Или заменить на...     Или удалить все после...    </div></div>{.*}| 

Змінено 27 квітня 2023 користувачем partshez

[Rassol2]

27.04.2023 в 08:25, partshez сказал:

https://www.cdkeys.com/xbox-live/gift-cards-points/xbox-live-4200-microsoft-points-xbox-360

Возможно ли получить нормальный код страницы в Симплпарс? https://prnt.sc/H60_DCIDit2t

Можете попробовать вот так.

 

Откройте файл
/admin/model/catalog/simplepars.php
Найдите строку.

$data['content'] = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', array($this, 'unicode_decode'), $data['content']);
И поставьте перед ней знак решетки. #
Вот так.
#$data['content'] = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', array($this, 'unicode_decode'), $data['content']);

[partshez]

27.04.2023 в 16:37, Rassol2 сказал:

Можете попробовать вот так.

 

Откройте файл
/admin/model/catalog/simplepars.php
Найдите строку.

$data['content'] = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', array($this, 'unicode_decode'), $data['content']);
И поставьте перед ней знак решетки. #
Вот так.
#$data['content'] = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', array($this, 'unicode_decode'), $data['content']);

Спасибо большое! Получилось.

[mirek]

27.04.2023 в 16:28, partshez сказал:

Или удалить все после

Это в разделе "Настройки парсинга" и в поле "текст конца парсинга". В общем-то изменять код тут не надо. Просто надо найти два закрывающих </div> </div> между которыми  пробелы и/или табуляция и/или перенос строки.

 

Пробовал вставить по Вашему и также не работает.

Но почему оно не находит 

{reg[#<\/div>[[:space:][:blank:][:cntrl:]]*<\/div>#]}

?   

 

Сейчас я попробовал задать {reg[#<\/div>#}  То есть просто найти первый закрывающий </div> И так оно не работает. Работает только если просто написать </div>. При этом оно конечно находит не конец всего блока.

 

Вообще поддерживаются регулярки в "текст конца парсинга" ?

[Rassol2]

27.04.2023 в 09:02, mirek сказал:

Это в разделе "Настройки парсинга" и в поле "текст конца парсинга". В общем-то изменять код тут не надо. Просто надо найти два закрывающих </div> </div> между которыми  пробелы и/или табуляция и/или перенос строки.

 

Пробовал вставить по Вашему и также не работает.

Но почему оно не находит 

{reg[#<\/div>[[:space:][:blank:][:cntrl:]]*<\/div>#]}

?   

 

Сейчас я попробовал задать {reg[#<\/div>#}  То есть просто найти первый закрывающий </div> И так оно не работает. Работает только если просто написать </div>. При этом оно конечно находит не конец всего блока.

 

Вообще поддерживаются регулярки в "текст конца парсинга" ?

Регулярки поддерживают напрямую из php если что то не работает то с вероятностью в 98% все в правилах.
Так как тут нет моей самодеятельности.
Берется правило и напрямую отправляется в функцию пхп регулярных выражений, от нее же получается ответ.
 

[Rassol2]

Обновление v4.9-5_beta

Убрал функцию декодирования unicode, последние время с ней в php что то не заладилось.
Это должно исправить ошибки пустой строки при открытии пред просмотра кода.

Так как это одна из древнейших частей логики, предсказать все последствия удаления сложно. Так что я сохраняю возможность скачивания v4.9-4 бета, где по сути все тоже самое, только есть декодирование unicode
Достаточно перезалить файлы модуля в корень с заменой.

[Axelenz]

27.04.2023 в 04:24, mirek сказал:

Еще посложнее пример с регулярками. Требуется найти текст конца парсинга состоящий из </div> тут пробелы, табуляция, перенос строки </div>

Часто кстати такое встречается когда между искомыми тегами только пробелы, табуляция, перенос строк.

 

Пытаюсь задать такую регулярку 

{reg[#<\/div>[[:space:][:blank:][:cntrl:]]*<\/div>#]}

Это решаемо одним из самых простых регулярных выражений в одну строку.

 

{reg[#(\s*</div>\s*)+$#]}|

[Axelenz]

26.04.2023 в 18:07, Toral сказал:

01.02.2023 в 00:14, Axelenz сказал:

А на каком хостинге ???

А-а-а... понятно, на каком... на hostiq.ua

У моей клиентки такая же ерунда на этом же хостинге...

 

Я перепробовал все возможные варианты написания задания - не влияет никак... cron не отрабатывает xml на 2000 товаров за 12 часов... А при ручном запуске обрабатывается за 3 минуты...

Вдалось якось це вирішити? 
Те саме, через  крон 4 години оновлюється. А через парсер 20хв

У них эта проблема решается только переходом на более дорогой тарифный план или в принципе уходом на менее жадный хостинг...

[mirek]

27.04.2023 в 17:19, Axelenz сказал:

Это решаемо одним из самых простых регулярных выражений

Вставил в поле "текст конца парсинга" 

{reg[#(\s*</div>\s*)+$#]}|

Предпросмотр границы не вывел ничего. И я писал, что и {reg[#<\/div>#} также не находит и не выводит ничего

[Axelenz]

27.04.2023 в 17:46, mirek сказал:

Вставил в поле "текст конца парсинга" 

А Вы что хотите получить в итоге ? Если просто подряд идущие </div></div> то так и напишите справа от "|". Но для текста конца парсинга это не вариант... Это лучше использовать для Описания, там это работает без проблем...

Змінено 27 квітня 2023 користувачем Axelenz