[Поддержка] SimplePars - Універсальний парсер для ІМ

[kostya242]

Привет, подскажите почему для определенной категории товаров например https://u.to/vdbZIA в режиме превью отображается графика сайта, но не подгружается HTML код, поэтому распарсить границы не можем. Для других категорий товаров такого нет.

 

[Rassol2]

03.09.2024 в 12:57, kostya242 сказал:

Привет, подскажите почему для определенной категории товаров например https://u.to/vdbZIA в режиме превью отображается графика сайта, но не подгружается HTML код, поэтому распарсить границы не можем. Для других категорий товаров такого нет.

 

Здравствуйте. 
Убедитесь что в коде сайта есть эти границы, и что они не подгружаются под запросами. смотрите по сайта через вкладку настройки парсинга. 

[Recodkin]

Магазин на shopify не відкривається в модулі для предперегляду.

 

В консолі така помилка

[Error] Refused to load because it does not appear in the frame-ancestors directive of the Content Security Policy.

[partshez]

06.09.2024 в 13:02, Recodkin сказал:

Магазин на shopify не відкривається в модулі для предперегляду.

 

В консолі така помилка

[Error] Refused to load because it does not appear in the frame-ancestors directive of the Content Security Policy.

Открывайте в соседней вкладке страницу товара и смотрите. Для чего Вам Предпросмотр в Настройках парсинга...?

[LuckyGenius]

Кто стыкался с парсингом Hotline.ua на регулярной основе с применением прокси чтоб не банили?

Необходимо регулярно парсить цены продавцов.

Кто может взяться опытный за этот проект?

[Aspirinnka1]

@Rassol2, добрый день. 

Подскажите, пж, что значит эта ошибка ?
В логах никакой доп. информации нет. 
Ссылку на донора отправил вам в личку
 

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Код ответа = 6
3.  
4. Больше информации можно получить в логах модуля SimplePars

[partshez]

06.09.2024 в 18:21, Aspirinnka1 сказал:

@Rassol2, добрый день. 

Подскажите, пж, что значит эта ошибка ?
В логах никакой доп. информации нет. 
Ссылку на донора отправил вам в личку
 

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Код ответа = 6
3.  
4. Больше информации можно получить в логах модуля SimplePars

Дайте ссылку на один товар. Можно в личку

[Rassol2]

06.09.2024 в 10:21, Aspirinnka1 сказал:

@Rassol2, добрый день. 

Подскажите, пж, что значит эта ошибка ?
В логах никакой доп. информации нет. 
Ссылку на донора отправил вам в личку
 

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Код ответа = 6
3.  
4. Больше информации можно получить в логах модуля SimplePars

Здравствуйте.
Данный ответ гласит что ваш сервер на может найти такое доменное имя, либо какая то ошибка в нем либо ДНС сервер не от дает адрес.
Проверьте другие адресса, и убедитесь что с вашего сервера есть доступ к этим сайтам.

[Rassol2]

06.09.2024 в 08:52, LuckyGenius сказал:

Кто стыкался с парсингом Hotline.ua на регулярной основе с применением прокси чтоб не банили?

Необходимо регулярно парсить цены продавцов.

Кто может взяться опытный за этот проект?

Скорее всего парсинг данного сайта будет не целесообразен, это агрегатор и основная его ценность это количество товаров на площадке, и они будут делать все что бы отсекать парсеры. Это касается не только этого сайта а и в принцепи всех маркетплейсов.

Вам будет нужно настраивать запросы так что бы каждый запрос шел с разных ip и что бы это были не массовые запросы, так как любой агрегатор легко может увить активность которая не похоже на обычного пользователя, после того как они засекут будет перенаправлять на всякие системы капчи что бы проверить вас на человечность, это как борьба с ветряными мельницами.

В теории можно, на практике не имеет экономического смысла.
Либо писать какой то свой парсер который будет использовать браузер для работы проходить капчи и постоянно подтверждать что он не бот.
Это другой уровень, парсеров.

[SSHEVA]

В 06.09.2024 в 16:52, LuckyGenius сказав:

Кто стыкался с парсингом Hotline.ua на регулярной основе с применением прокси чтоб не банили?

Необходимо регулярно парсить цены продавцов.

Кто может взяться опытный за этот проект?

Експериментував, парсити можна, але то досить складно, треба або брати гарні паузи перед оновленням цін, або не велику кількість товару, одним словом можна сказати цей модуль підходить, але треба морочитися, бо не все там так просто...

[partshez]

06.09.2024 в 16:52, LuckyGenius сказал:

Кто стыкался с парсингом Hotline.ua на регулярной основе с применением прокси чтоб не банили?

Необходимо регулярно парсить цены продавцов.

Кто может взяться опытный за этот проект?

Показал в личке результат парсинга на моем тестовом сайте... Молчит. 

[Aspirinnka1]

06.09.2024 в 21:56, Rassol2 сказал:

Здравствуйте.
Данный ответ гласит что ваш сервер на может найти такое доменное имя, либо какая то ошибка в нем либо ДНС сервер не от дает адрес.
Проверьте другие адресса, и убедитесь что с вашего сервера есть доступ к этим сайтам.

Вы знаете, непонятно. Сегодня перезапустил - никаких ошибок. 
Проверю остальные сайты и отпишусь. 

[Aspirinnka1]

06.09.2024 в 18:31, partshez сказал:

Дайте ссылку на один товар. Можно в личку

Сегодня уже работает  Чудеса. Спасибо, проверю остальные сайты еще и отпишусь

[webitproff]

Давно приглядываюсь и уже кучу видосиков по модулю скачал на телефон с ютюба.

Несколько вопросов к автору дополнения, может ответы на них очевидные, но всё же нужно уточнить.

1. Мне нужна лицензия на один украинский домен в зоне com.ua и мне не важно на какой домен, но чтобы модуль работал на личном компьютере, на локальном сервере, где есть свой VPN и не приходится отсвечивать IP своего сайта.

2. использую "ospanel.io" для всех правок интернет магазина, когда все нормально, потом переношу уже правки и базу на рабочий сайт, на виртуальный хостинг в веб. Но на локалке куба (Ioncube) нет, -  получится ли после покупки модуль использовать на локальном сервере?

[Axelenz]

07.09.2024 в 11:33, webitproff сказал:

Давно приглядываюсь и уже кучу видосиков по модулю скачал на телефон с ютюба.

Несколько вопросов к автору дополнения, может ответы на них очевидные, но всё же нужно уточнить.

1. Мне нужна лицензия на один украинский домен в зоне com.ua и мне не важно на какой домен, но чтобы модуль работал на личном компьютере, на локальном сервере, где есть свой VPN и не приходится отсвечивать IP своего сайта.

2. использую "ospanel.io" для всех правок интернет магазина, когда все нормально, потом переношу уже правки и базу на рабочий сайт, на виртуальный хостинг в веб. Но на локалке куба (Ioncube) нет, -  получится ли после покупки модуль использовать на локальном сервере?

 

Работаю на Open Server, установлен ionCube.

 

Скрытый текст

 

[webitproff]

07.09.2024 в 11:42, Axelenz сказал:

 

Работаю на Open Server, установлен ionCube.

 

 

спс, как не искал, не нашел, и на странице проекта не нашел информации о том, что он есть.

но тем не менее, вопросы выше, по прежнему актуальны.

[Rassol2]

07.09.2024 в 03:33, webitproff сказал:

Давно приглядываюсь и уже кучу видосиков по модулю скачал на телефон с ютюба.

Несколько вопросов к автору дополнения, может ответы на них очевидные, но всё же нужно уточнить.

1. Мне нужна лицензия на один украинский домен в зоне com.ua и мне не важно на какой домен, но чтобы модуль работал на личном компьютере, на локальном сервере, где есть свой VPN и не приходится отсвечивать IP своего сайта.

2. использую "ospanel.io" для всех правок интернет магазина, когда все нормально, потом переношу уже правки и базу на рабочий сайт, на виртуальный хостинг в веб. Но на локалке куба (Ioncube) нет, -  получится ли после покупки модуль использовать на локальном сервере?

Да вы можете запускать на локальном сервере, и активировать модуль на любом домене включая ip, (Хотя его использовать крайне не рекомендую.) Так же можно переносить базу на боевой сайт, но что бы лицензия работала на боевом сайте все же нужно ее отвязывать от локального и активировать на боевом.
как это сделать описано здесь
https://simplepars.top/index.php?page=note&n=28

То что нет на локалке куба решается его включением. Как включить куб на локалке можно найти в инструкциях к веб серверу который вы будете использовать.

 

[SSHEVA]

В 07.09.2024 в 11:33, webitproff сказав:

Но на локалке куба (Ioncube) нет, -  получится ли после покупки модуль использовать на локальном сервере?

Встановить на Локальну машину  ionCube та все буде працювати, перевірено все добре працює без проблем. 

[MaryaSutuga]

Всем доброго))

У меня стоит модуль SimpleParts я парсю товары от одного поставщика на свой сайт. Вот пришло время решила расширяться, как всегда лезу в Parts, но у нового поставщика описание YML полностью целостное (название, цена, артикул и т.д разбило) но Характеристики и особенности в одном тексте, без разделителей. Соответственно SimpleParts все вместе и перенёс. Но мне надо как то его разделить на странице описания, что бы характеристики, особенности высвечивались с новой строки и жирным (как у поставщика на сайте). Может кто то подскажет, есть ли правило которое разобьёт текст правильно. Буду очень благодарна

[Aspirinnka1]

Добрый день всем. Есть проблемка с кодировкой, похоже. 
вот донор https://mebelart.by/product/stol_kompyuternyy_signal_b_216_chernyy/

 

Вот ссылка на изображение из раздела Настройки парсинга - 

!=========================================================== Повторение №1 ========== Разделитель [{csvnc}]  /upload/iblock/22d/g5r02u9fssd1gukhxkcaxzqykzm5afr7/5d062073_ad07_11ed_a548_ac1f6bc390f7_637bad53_b72f_11ed_a548_ac1f6bc390f7.jpeg

 

А вот исходный текст в разделе поиск замена - /upload/iblock/22d/g5r02u9fssd1gukhхkcaхzqykzm5afr7/5d062073_ad07_11ed_a548_ac1f6bc390f7_637bad53_b72f_11ed_a548_ac1f6bc390f7.jpeg

 

Визуально все ок, но проблема в букве 'x'. В разделе поиск/замена эта буква стала ДРУГОЙ 'х'.

Если поискать эти 2 буквы 'x', то видно, что они не совпадают. 

 

Подскажите, что с этим сделать. Надеюсь понятно объяснил

[Axelenz]

08.09.2024 в 19:17, Aspirinnka1 сказал:

А вот исходный текст в разделе поиск замена - /upload/iblock/22d/g5r02u9fssd1gukhхkcaхzqykzm5afr7/5d062073_ad07_11ed_a548_ac1f6bc390f7_637bad53_b72f_11ed_a548_ac1f6bc390f7.jpeg

А как у Вас латинская "x" становится вдруг "х" с раскладки кирилицы ?

В подобной ссылке кириллических символов не должно быть в принципе...

 

В коде такого нет: g5r02u9fssd1gukhхkcaхzqykzm5afr7

http://view-source:https://mebelart.by/product/stol_kompyuternyy_signal_b_216_chernyy/

 

Вы случайно регулярными выражениями не игрались ?

Змінено 8 вересня 2024 користувачем Axelenz

[Flint2000]

В 08.09.2024 в 19:17, Aspirinnka1 сказав:

Визуально все ок, но проблема в букве 'x'. В разделе поиск/замена эта буква стала ДРУГОЙ 'х'.

 

Ето санкции

[Rassol2]

07.09.2024 в 15:07, MaryaSutuga сказал:

Всем доброго))

У меня стоит модуль SimpleParts я парсю товары от одного поставщика на свой сайт. Вот пришло время решила расширяться, как всегда лезу в Parts, но у нового поставщика описание YML полностью целостное (название, цена, артикул и т.д разбило) но Характеристики и особенности в одном тексте, без разделителей. Соответственно SimpleParts все вместе и перенёс. Но мне надо как то его разделить на странице описания, что бы характеристики, особенности высвечивались с новой строки и жирным (как у поставщика на сайте). Может кто то подскажет, есть ли правило которое разобьёт текст правильно. Буду очень благодарна

Покажите донора, а луче пару страниц с таким описанием что бы их изучить, просто так не правило не собрать.
Если это возможно конечно.

[partshez]

09.09.2024 в 02:57, Rassol2 сказал:

Покажите донора, а луче пару страниц с таким описанием что бы их изучить, просто так не правило не собрать.
Если это возможно конечно.

Вопрос решен правилами замены

Змінено 9 вересня 2024 користувачем partshez

[Aspirinnka1]

 

08.09.2024 в 19:18, Axelenz сказал:

Вы случайно регулярными выражениями не игрались ?

 

Возможно вы правы. Была регулярка, но я ее удалил, а потом, вероятно, не обновил страницу. И использовал не достоверные данные. Спасибо, за подсказку ! Проверю сегодня. 

 

Дополнено: неа, не помогло. Обновил кэш, взял ссылку с сайт и все равно на выходе эта кириллическая 'x'. 

Временно (а судя по опыты, и на постоянной основе), в поиск/замене просто прописал замену на латинскую Х и все нормально теперь. 

 

 

Т.е. проблема, что на странице Поиск/Замена, в самой Исходной ссылке уже стоит русское х, почему-то. Ладно бы в преобразованной, а она в исходной
Скриншот ниже, поиском ищу русскую Х

 

 

Скрытый текст

 

Змінено 9 вересня 2024 користувачем Aspirinnka1