[Поддержка] SimplePars - Універсальний парсер для ІМ

[yurok79]

Так и не нашел( 

по итогу импортировал проект на другой сайт, сделал необходимые настройки и импортировал обратно. Но проблема осталась...

 

Подскажите еще в какой папке лежат логи которые при парсинге создаются. Вкладка не открывается. Хочу руками удалить.

Змінено 19 березня 2024 користувачем yurok79

[Rassol2]

19.03.2024 в 04:25, yurok79 сказал:

Так и не нашел( 

по итогу импортировал проект на другой сайт, сделал необходимые настройки и импортировал обратно. Но проблема осталась...

 

Подскажите еще в какой папке лежат логи которые при парсинге создаются. Вкладка не открывается. Хочу руками удалить.

В той же где у вас все логи имя лога выглядит так.
simplepars-id.log

Можете скинуть доступ к админке и к фтп и я вам скажу где спец символы.

[nikola111]

Здравствуйте!

Есть такая проблема - ни как не могу настроить пасинг.

Делаю все по видео инструкции - https://youtu.be/KQJdKWnNGjw?si=lX39pk16Q27XmZxI

Парсинг товаров одной подкатегории:

Задаю стартовую ссылку, ее же добавляю в окно Очередь сканирования ссылок

В блоке Ссылки на товары задаю значения Текст начала сбора и конца сбора

Сканирование ни чего не дает - ссылок на товары нет

 Тоже самое и с основной категорией

Параметр в поле Шаблон ссылок в очереди ни как ни влияет, то есть ссылки на подкатегории не добавляются

После ручного добавления подкатегорий, модуль обходит указанные ссылки, но товаров не находит - https://skr.sh/sOzqke0KMS2, https://skr.sh/sOzDySelGtg

 Код у сайта-донора довольно простой, есть несколько (пара точно) вариантов выбора начала и конца сбора ссылок
Тестировал на другом доноре, ссылки собираются
 С чем это может быть связано?
Может какая то хитрая защита от копирования контента?

[Rassol2]

28.03.2024 в 20:05, nikola111 сказал:

Здравствуйте!

Есть такая проблема - ни как не могу настроить пасинг.

Делаю все по видео инструкции - https://youtu.be/KQJdKWnNGjw?si=lX39pk16Q27XmZxI

Парсинг товаров одной подкатегории:

Задаю стартовую ссылку, ее же добавляю в окно Очередь сканирования ссылок

В блоке Ссылки на товары задаю значения Текст начала сбора и конца сбора

Сканирование ни чего не дает - ссылок на товары нет

 Тоже самое и с основной категорией

Параметр в поле Шаблон ссылок в очереди ни как ни влияет, то есть ссылки на подкатегории не добавляются

После ручного добавления подкатегорий, модуль обходит указанные ссылки, но товаров не находит - https://skr.sh/sOzqke0KMS2, https://skr.sh/sOzDySelGtg

 Код у сайта-донора довольно простой, есть несколько (пара точно) вариантов выбора начала и конца сбора ссылок
Тестировал на другом доноре, ссылки собираются
 С чем это может быть связано?
Может какая то хитрая защита от копирования контента?

Здравствуйте.
Вас нет в списке покупателей модуля.
Поддержка овеществляется исключительно пользователям которые приобрели модуль.
Если вы когда то приобретали модуль на других площадках то вы можете задать вопрос там где был куплен модуль, и я постараюсь вам помочь.

[nikola111]

Заказ #1197633

[Rassol2]

28.03.2024 в 20:05, nikola111 сказал:

Здравствуйте!

Есть такая проблема - ни как не могу настроить пасинг.

Делаю все по видео инструкции - https://youtu.be/KQJdKWnNGjw?si=lX39pk16Q27XmZxI

Парсинг товаров одной подкатегории:

Задаю стартовую ссылку, ее же добавляю в окно Очередь сканирования ссылок

В блоке Ссылки на товары задаю значения Текст начала сбора и конца сбора

Сканирование ни чего не дает - ссылок на товары нет

 Тоже самое и с основной категорией

Параметр в поле Шаблон ссылок в очереди ни как ни влияет, то есть ссылки на подкатегории не добавляются

После ручного добавления подкатегорий, модуль обходит указанные ссылки, но товаров не находит - https://skr.sh/sOzqke0KMS2, https://skr.sh/sOzDySelGtg

 Код у сайта-донора довольно простой, есть несколько (пара точно) вариантов выбора начала и конца сбора ссылок
Тестировал на другом доноре, ссылки собираются
 С чем это может быть связано?
Может какая то хитрая защита от копирования контента?

Скиньте файл настроек проекта что бы посмотреть что конкретно вы настроили.
Это модуле вкладка импорт экспорт, выберите настройки и все ссылки и экспортируйте файл.
Этот файл загрузите сюда и я посмотрю что вы настроили.
 

[nikola111]

Файл прикрепил

SPsetting-1.json

[Rassol2]

29.03.2024 в 00:38, nikola111 сказал:

Файл прикрепил

SPsetting-1.json 5 \u041a\u0431 · 1 скачивание

В данном доноре код сайта спрятан за зашитой js
 

Скрытый текст

 

Как видите тут нет ссылок.
Сайты с подобной зашитой модулем SimplePars не обойти, так как для получения кода страницы нужно иметь JS обработчки, то есть браузер.
Написать браузер внутри модуля к сожалению не получится.

[LODESTAR]

Допоможіть з регулярним виразом
Як прописати в Пошук/Заміна щоб по всьому тесту знаходило (пробіл;) і міняло на (;)
Приклад
Сонце ;  - Сонце;

[Rassol2]

30.03.2024 в 12:45, LODESTAR сказал:

Допоможіть з регулярним виразом
Як прописати в Пошук/Заміна щоб по всьому тесту знаходило (пробіл;) і міняло на (;)
Приклад
Сонце ;  - Сонце;

Копируете пробел. 
вставляете в поле поиск замены. 
затем пишите | 

все. 

[partshez]

30.03.2024 в 20:01, Rassol2 сказал:

Копируете пробел. 
вставляете в поле поиск замены. 
затем пишите | 

все. 

Если я правильно понимаю, в этом случае просто удалятся все пробелы. Останется сплошной текст без пробелов

30.03.2024 в 19:45, LODESTAR сказал:

Як прописати в Пошук/Заміна щоб по всьому тесту знаходило (пробіл;) і міняло на (;)
Приклад
Сонце ;  - Сонце;

пробел;|;

Попробуйте так. Уберем пробел только перед ;

https://prnt.sc/mvd8eykPaS5h

Змінено 30 березня 2024 користувачем partshez

[CarAuto]

Доброго дня!

А можливо якось з такого тексту зробити атрибути, я все вивів, але тепер питання залишається, як зробити, щоб після бренду авто додати {csvnc}

https://prnt.sc/E02agh-4rNfC

[mykolakozlov]

Вітаю. Виникла проблема при використанні повторюваного парсингу для пошуку файлів на сайті. Знаходжу список файлів на сайті:

!========== Повторение [№1] ========= Разделитель [{csvnc}] ========== !

 

 

                                <span>Паспорт</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Datasheet_20191015.pdf" target="_blank"

 

!========== Повторение [№2] ========= Разделитель [{csvnc}] ========== !

 

 

                                <span>Інструкція користувача</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/9-Dahua-Network-Camera-Web-3.0-Operation-Manual_V2.0.03.pdf" target="_blank"

 

!========== Повторение [№3] ========= Разделитель [{csvnc}] ========== !

 

 

 

                                <span>Короткий посібник</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/11-Dahua-Vari-focal-Dome-Network-Camera_QSG_V1.0.12.pdf" target="_blank"

 

!========== Повторение [№4] ========= Разделитель [{csvnc}] ========== !

 

 

 

                                <span>Розміри</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Dimension_20190409.pdf" target="_blank"

 

!========== Повторение [№5] ========= Разделитель [{csvnc}] ========== !

 

 

 

                                <span>Інсталяція</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Installation_20190409.pdf" target="_blank"

 

!========== Повторение [№6] ========= Разделитель [{csvnc}] ========== !

 

 

                                <span>Прошивка</span>

                                <a href="http://ftp.viatec.ua/Dahua/Firmware/IPC/AI/HX5XXX-Volt/" target="_blank"

 

 

 

Далі мені треба видалити файл прошивка їх завантажувати не потрібно і в результаті отримую ось таку картину:

 

http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Datasheet_20191015.pdf{csvnc}Паспорт{csvnc}http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/9-Dahua-Network-Camera-Web-3.0-Operation-Manual_V2.0.03.pdf{csvnc}Інструкція користувача{csvnc}http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/11-Dahua-Vari-focal-Dome-Network-Camera_QSG_V1.0.12.pdf{csvnc}Короткий посібник{csvnc}http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Dimension_20190409.pdf{csvnc}Розміри{csvnc}http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Installation_20190409.pdf{csvnc}Інсталяція{csvnc}

 

Проблема в тому що після видалення посилання на файли прошивки вкінці залишається зайвий роздільник {csvnc}

Як його видалити, тому що з ним не корректно відбувається завантаження файлів до мене на сайт.

 

Сторінка з якої треба завантажити файли (https://viatec.ua/product/DH-IPC-HDBW5241EP-ZE)

Рішення типу пропуск з початку чи кінця не підходить бо фали прошивки є не на всіх сторінках товару, плюс не факт що вони будуть на початку чи в кінці.

 

Змінено 4 квітня 2024 користувачем mykolakozlov

[partshez]

04.04.2024 в 17:14, mykolakozlov сказал:

Вітаю. Виникла проблема при використанні повторюваного парсингу для пошуку файлів на сайті. Знаходжу список файлів на сайті:

!========== Повторение [№1] ========= Разделитель [{csvnc}] ========== !

 

 

                                <span>Паспорт</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Datasheet_20191015.pdf" target="_blank"

 

!========== Повторение [№2] ========= Разделитель [{csvnc}] ========== !

 

 

                                <span>Інструкція користувача</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/9-Dahua-Network-Camera-Web-3.0-Operation-Manual_V2.0.03.pdf" target="_blank"

 

!========== Повторение [№3] ========= Разделитель [{csvnc}] ========== !

 

 

 

                                <span>Короткий посібник</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/11-Dahua-Vari-focal-Dome-Network-Camera_QSG_V1.0.12.pdf" target="_blank"

 

!========== Повторение [№4] ========= Разделитель [{csvnc}] ========== !

 

 

 

                                <span>Розміри</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Dimension_20190409.pdf" target="_blank"

 

!========== Повторение [№5] ========= Разделитель [{csvnc}] ========== !

 

 

 

                                <span>Інсталяція</span>

                                <a href="http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Installation_20190409.pdf" target="_blank"

 

!========== Повторение [№6] ========= Разделитель [{csvnc}] ========== !

 

 

                                <span>Прошивка</span>

                                <a href="http://ftp.viatec.ua/Dahua/Firmware/IPC/AI/HX5XXX-Volt/" target="_blank"

 

 

 

Далі мені треба видалити файл прошивка їх завантажувати не потрібно і в результаті отримую ось таку картину:

 

http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Datasheet_20191015.pdf{csvnc}Паспорт{csvnc}http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/9-Dahua-Network-Camera-Web-3.0-Operation-Manual_V2.0.03.pdf{csvnc}Інструкція користувача{csvnc}http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/11-Dahua-Vari-focal-Dome-Network-Camera_QSG_V1.0.12.pdf{csvnc}Короткий посібник{csvnc}http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Dimension_20190409.pdf{csvnc}Розміри{csvnc}http://ftp.viatec.ua/Site/Video/Cam/DH-IPC-HDBW5241EP-ZE/DH-IPC-HDBW5241E-ZE_Installation_20190409.pdf{csvnc}Інсталяція{csvnc}

 

Проблема в тому що після видалення посилання на файли прошивки вкінці залишається зайвий роздільник {csvnc}

Як його видалити, тому що з ним не корректно відбувається завантаження файлів до мене на сайт.

 

Сторінка з якої треба завантажити файли (https://viatec.ua/product/DH-IPC-HDBW5241EP-ZE)

Рішення типу пропуск з початку чи кінця не підходить бо фали прошивки є не на всіх сторінках товару, плюс не факт що вони будуть на початку чи в кінці.

 

Создать обычную границу для всего списка файлов, сейчас выбрана Во всем документе. В ней повторяющуюся, которую Вы сейчас показываете. И в обычной границе удалять ненужную информацию. 

Змінено 4 квітня 2024 користувачем partshez

[mykolakozlov]

В 04.04.2024 в 18:23, partshez сказав:

Создать обычную границу для всего списка файлов, сейчас выбрана Во всем документе. В ней повторяющуюся, которую Вы сейчас показываете. И в обычной границе удалять ненужную информацию. 

Дуже дякую, все геніальне просто))

[partshez]

04.04.2024 в 14:04, CarAuto сказал:

Доброго дня!

А можливо якось з такого тексту зробити атрибути, я все вивів, але тепер питання залишається, як зробити, щоб після бренду авто додати {csvnc}

https://prnt.sc/E02agh-4rNfC

В правилах замены добавить

{skip} {skip} {.*}|$1 $2{csvnc}$3
{.*} {.*}|$1{csvnc}$2

https://prnt.sc/QbQAx75lwkAa   Пробуйте!

[CarAuto]

В 04.04.2024 в 18:53, partshez сказав:

В правилах замены добавить

{skip} {skip} {.*}|$1 $2{csvnc}$3
{.*} {.*}|$1{csvnc}$2

https://prnt.sc/QbQAx75lwkAa   Пробуйте!

Дякую))

[CarAuto]

В 04.04.2024 в 18:53, partshez сказав:

В правилах замены добавить

{skip} {skip} {.*}|$1 $2{csvnc}$3
{.*} {.*}|$1{csvnc}$2

https://prnt.sc/QbQAx75lwkAa   Пробуйте!

Трохи упростив все, але код чомусь спрацьовує частково

https://prnt.sc/SHsq-8jXvw2Y

[CarAuto]

Підкажіть, будь ласка! У тексті після обробки є пусті строки. Як зробити щоб їх видалити?

https://prnt.sc/EFumRIiIRVMf

[Flint2000]

В 07.04.2024 в 18:11, CarAuto сказав:

Підкажіть, будь ласка! У тексті після обробки є пусті строки. Як зробити щоб їх видалити?

 

найпростіше {br}|

[CarAuto]

В 07.04.2024 в 18:46, Flint2000 сказав:

найпростіше {br}|

Точно. Дякую!

 

[partshez]

07.04.2024 в 18:11, CarAuto сказал:

Підкажіть, будь ласка! У тексті після обробки є пусті строки. Як зробити щоб їх видалити?

https://prnt.sc/EFumRIiIRVMf

{reg[#^(\s|\t)+#m]}| - Удалить все пустые строки. (строки содержащие только пробелы и табуляции)

Это уже в тексте После обработки

{reg[#\s{2,}#]}|
{reg[#^\s+|\s+$#m]}|

В Вашем случае можно это использовать. Двойные пробелы преобразует в одинарный, удалит пробел в начале и в конце строки

Эти регулярки не я составлял, на это у меня знаний не хватает. Читаю сообщения в теме и записываю в свой служебный блокнотик 

Змінено 7 квітня 2024 користувачем partshez

[partshez]

07.04.2024 в 18:11, CarAuto сказал:

Підкажіть, будь ласка! У тексті після обробки є пусті строки. Як зробити щоб їх видалити?

https://prnt.sc/EFumRIiIRVMf

Читаем статью автора модуля https://simplepars.top/index.php?page=note&n=37  Про регулярки

Змінено 7 квітня 2024 користувачем partshez

[CarAuto]

В 07.04.2024 в 21:24, partshez сказав:

Читаем статью автора модуля https://simplepars.top/index.php?page=note&n=37  Про регулярки

Я читав, тільки не все зрозумів. Щось вийшло, а щось ні..

[partshez]

Возможно ли в цене границу умножить не на число, а на другую границу? Что-то никак не получается у меня.

https://prnt.sc/djuv5x5_EQUy