[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

5 часов назад, Axelenz сказал:

Уважаемый автор, подскажите, пожалуйста.

Возникла необходимость увеличить в базе в таблице oc_pars_replace размер поля arithm varchar(256) до 512 (ну не влезает то, что необходимо расписать клиенту по наценкам). Этого изменения достаточно или нужно ещё куда заглянуть ?

Просьба увеличить этот параметр в следующих релизах до размера 512... (

Здравствуйте.
Да достаточно, модуль контролирует размер только тех таблиц что могут быть использованы в роли идентификатора, остальные размеры полей он не контролирует, и увеличив их в базе вы увеличиваете возможность записи.

 

Не обешаю что сделаю в следующих релизах. Когда вернусь к работе над модулем все буду с нуля собирать.
Все пожелания и хотелки. Пока что так.

[travkovs]

Вопрос по выдергиванию ссылок из XML при сборе ссылок

 

Суть вот в чём!

1) при обработке раздела каталога на который есть XML  - работает и выгружает все ссылки   
2) при обработке всего каталога на который также есть отдельный XML  - не работает по выгрузке
может потому что файл очень большой?  в нем 136000 строк

Спойлер

.

настройки все идентичны

[Rassol2]

5 часов назад, travkovs сказал:

2) при обработке всего каталога на который также есть отдельный XML  - не работает по выгрузке
может потому что файл очень большой?  в нем 136000 строк

На этот вопрос как всегда может ответить лог модуля. Если там есть сообщение что модуль не успел скачать файл за 25 сек тогда да, может быт  такая проблема. А В данном случаи еше вам стоит посмотреть тег внутри которого заключена ссылка.
Как вы можете наблюдать из названия Метода, тег должен быть <URL>ссылка</URL>

[romka7070]

Здравствуйте. Понимаю проблему мультиязычного парсинга. Вижу несколько решений:

1. Переводить характеристики и атрибуты модулем перевода текста через платные Api Google или Yandex. (ежемесячные платежи за Апи смущают).

2. Перевести ручками категории, а вот атрибуты и их значения попробовать перевести модулями с функцией поиск/замена.

 

Поделитесь опытом как кто решил эту проблему? Может кто подскажет свой вариант или как он делает. Буду очень благодарен. Любая информация будет полезная. Если найдем хорошее решение, может автор добавит в FAQ и облегчит жизнь многим.  Спасибо большое

 

[travkovs]

16 часов назад, Rassol2 сказал:

На этот вопрос как всегда может ответить лог модуля. Если там есть сообщение что модуль не успел скачать файл за 25 сек тогда да, может быт  такая проблема. А В данном случаи еше вам стоит посмотреть тег внутри которого заключена ссылка.
Как вы можете наблюдать из названия Метода, тег должен быть <URL>ссылка</URL>

.

Код ответа = 28...  Что это означает?

.
 

Спойлер

.

С тегом <URL> всё впорядке...   он выглядит так <DETAIL_PAGE_URL> 
ранее мы парсер перенастроили чтоб он работал на этот вид тега
 

Спойлер

.

Думаю проблема как раз с временем обработки... как это время можно увеличить чтоб он успел всё обработать?

[partshez]

6 минут назад, travkovs сказал:

Код ответа = 28...  Что это означает?

https://prnt.sc/22qaw48

[travkovs]

5 минут назад, partshez сказал:

https://prnt.sc/22qaw48

.

Благодарю!!!   Всё теперь получилось!

[avelcube]

Добрый вечер, подскажите есть ли возможность парсить старницы с автоматическим открытием следующей порции товаров вместо страниц пагинации?
Как например на этой странице:

Спойлер

https://audiofoto.ru/naruchnye-chasy/korejskie/chasy-essence/essence-zhenskie/

 

[Kiyoshi]

Вряд ли если выключить js там пусто попробуйте посмотреть через карту сайта.

[Kiyoshi]

4 минуты назад, Kiyoshi сказал:

Вряд ли если выключить js там пусто попробуйте посмотреть через карту сайта.

Поправка можно добавьте ?page= в Шаблон ссылок очереди

 

[pgplamen]

Привет, я из Болгарии и плохо говорю по-русски, у меня есть вопрос Мой донор https://www.bfcflyfishing.com/bg/home/789-Hends-Grall-010mm--Red-307.html  Я не могу вынести хлебные крошки. Текст начала парсинга <div class="breadcrumb clearfix"> Текст конца парсинга </div> Я все вижу хлебные крошки.jpg но парсер не все видит simplepars.jpg  Парсер видит только конец кода   <span class="navigation_page">Hends Grall 0.10mm - Червен 307</span> Не могу видеть хлебные крошки Материали>Конци>Hends Grall 0.10>Hends Grall 0.10mm - Червен 307 Прошу вашей помощи. 

[partshez]

https://prnt.sc/22rmi82  Это конец париснга для Хлебных крошек. В этой границе настраиваем границы Категорий

[Denkof]

В 08.12.2021 в 23:18, Denkof сказал:

Если разлогиниться и снова залогиниться, даже с повторным вводом пароля - данные rsa остаются идентичны. Но если сбросить кеш или зайти с другого браузера или в режиме инкогнито, то данные уже другие.

Спасибо всем, кто откликнулся на мой вопрос и помогал в решении задачи. Решение все же нашлось, во всяком случае пока что работает.

Решил отписаться о решении, может кому-то будет полезно.

Задача стояла парсить текущие цены с донора и лить их в базу другого магазина с наценкой. Сайт для сбора цены требовал авторизацию.
Проблема заключалась в том, что используя авторизацию методом POST, модуль авторизовался только 12 часов после чего авторизация слетала. Пока пытался решить задачу выяснилось такое:
- при смене браузера или сбросе кеша менялось значение rsa_data в заголовках запроса

- при каждой новой авторизации менялись куки

- авторизация методом POST срабатывала, лишь тогда, когда в разделе "настройка запросов" были добавлены куки.
- автоматическая авторизация работала только 12 часов.

- с какой-то периодичностью менялось значение ssid

Проблем была решена следующим образом: отследил время активной сессии, для этого залогинился в браузере и оставим открытую вкладу периодически поглядывая разлогинело меня или нет. Спустя 12 часов браузер написал "время сессии завершено из-за отсутствия активности ...." и еще чего-то там. Т.е. меня разлогинело потому что браузер "не проявил активности". Соответственно нужно было всего лишь проявить активность. Т.к. задача моего проекта заключается в актуализации цены - я сменил частоту обновления и  добавил задачу в планировщик с периодическим запуском через 8 часов. т.е.  с таким интервалом, что бы сессия никогда не истекла и всегда оставалась активной.

Не знаю на сколько рабочий вариант и долго ли проживет такое решение, но пока что 5 дней полет нормальный.

[xandr62]

Добрый вечер! Нужен исполнитель для настройки парсинга с нескольких сайтов и дальнейшей загрузки на мой сайт.  

[Kiyoshi]

1 час назад, xandr62 сказал:

Добрый вечер! Нужен исполнитель для настройки парсинга с нескольких сайтов и дальнейшей загрузки на мой сайт.  

Здравствуйте обратитесь к @Axelenz  и @partshez возможно они смогут помочь пока я занят.

[partshez]

10 минут назад, Kiyoshi сказал:

Здравствуйте обратитесь к @Axelenz  и @partshez возможно они смогут помочь пока я занят.

Написал ему в личку. Пока молчит

[Mixxxa163]

Добрый день. Может кто подсказать, как собрать ссылки с https://schneider-samara.ru/. К товару не привязаться тк не содержит ни .html ни одинакового обозначения в url. Пробовал указать глубину ссылки 4-5, но на 4 есть как ссылки на товар, так и категории, которые не нужны. Единственный вижу выход - собирать в Шаблон ссылок на товар все категории ..../товар, но это трудоемко, их много..

[Axelenz]

2 часа назад, Mixxxa163 сказал:

Добрый день. Может кто подсказать, как собрать ссылки с https://schneider-samara.ru/. К товару не привязаться тк не содержит ни .html ни одинакового обозначения в url. Пробовал указать глубину ссылки 4-5, но на 4 есть как ссылки на товар, так и категории, которые не нужны. Единственный вижу выход - собирать в Шаблон ссылок на товар все категории ..../товар, но это трудоемко, их много..

Пробуйте с карт сайта собирать.

https://schneider-samara.ru/sitemap.xml

[werterboy]

Добрый день.
Пролистал бегло ветку, не нашёл ответа на свой возникший вопрос....
Выскакивает следующая ошибка, при парсинге.
" Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 23 | Текст ответа = Failed reading the chunked-encoded stream | Ссылка - https:..............."
Можно попросить совета, куда ковырять, чтоб данная ошибка "исчезла"? 
Заранее благодарен.

Змінено 18 грудня 2021 користувачем werterboy

[Rassol2]

8 часов назад, werterboy сказал:

Добрый день.
Пролистал бегло ветку, не нашёл ответа на свой возникший вопрос....
Выскакивает следующая ошибка, при парсинге.
" Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 23 | Текст ответа = Failed reading the chunked-encoded stream | Ссылка - https:..............."
Можно попросить совета, куда ковырять, чтоб данная ошибка "исчезла"? 
Заранее благодарен.

Здравствуйте.

Пришлите мне в ЛС номер заказа и где вы покупали модуль.
так же ссылку на донора о котором идет речь и я проверю.

[Zetx]

подскажите, можно ли как то задействовать в фильтре Редактора товаров акцеонную цену? сейчас там доступна только обычная цена

[Rassol2]

1 минуту назад, Zetx сказал:

подскажите, можно ли как то задействовать в фильтре Редактора товаров акцеонную цену? сейчас там доступна только обычная цена

Нет в редакторе товаров нет возможности работать с акционными ценами.

[yurok79]

Подскажите по ошибке, вижу что ругается на отсутствие таблицы. Inst.php повторно запускал.

 

Fatal error: Uncaught exception 'Exception' with message 'Error: Table 'globa1_new.oc_simplepars' doesn't exist<br />Error No: 1146<br />SELECT simplepars_id AS id FROM oc_simplepars ORDER BY simplepars_id DESC LIMIT 1' in /home/global81/*****.com/www/system/library/db/mysqli.php:40 Stack trace: #0 

/home/global81/*****.com/www/system/storage/modification/system/library/db.php(205): DB\MySQLi->query('SELECT simplepa...', Array) #1 

/home/global81/*****.com/www/system/storage/modification/admin/model/setting/setting.php(5): DB->query('SELECT simplepa...') #2 

[internal function]: ModelSettingSetting->getLastId('simplepars', 'simplepars') #3 
/home/global81/*****.com/www/system/storage/modification/system/engine/loader.php(207): call_user_func_array(Array, Array) #4 

[internal function]: Loader->{closure}(Array, Array) #5 /home/global81/******.com/www/system/engine/proxy.php(25): call_user_func_array(Object(Closure), Array) #6 /home/global81/*******.com/www/system/storage/modi in /home/global81/*******.com/www/system/library/db/mysqli.php on line 40

 

[Rassol2]

1 минуту назад, yurok79 сказал:

Подскажите по ошибке, вижу что ругается на отсутствие таблицы. Inst.php повторно запускал.

Здравствуйте.
Определяйте кто ругается и исправляйте. 

В моем модуле нет такой таблицы.  Для работы моего модуля она не нужна. Так что это кто то сторонний. 
Ну или можете создать эту таблицу что бы тот кто запрашивал не ругался.  

[Alexey1980]

Требуется помощь, бьюсь уже неделю. Похожая тема была, но был затронута не с той стороны. Про изображения WebP

Сайт донор, ссылка на страницу парсинга:

https://wallytally.ru/catalog/product/stenka-khit-leyden-mdf/

 

это страница после парсинга

https://mebeli-shop.ru/stenki/stenka-hit-lejden-mdf

 

 

Все настроил, в предпросмотре изображения отображаются, при парсинге закачиваются на сервер. Но не отображаются !!! Пишет изображение не может быть загружено.

Перерыв все увидел что ссылка на изображение не совпадает с адресом картинки на хостинге:

ссылка с сайта на картинку после парсинга

https://mebeli-shop.ru/home/httpd/vhosts/mebeli-shop.ru/httpdocs/image/catalog/product/3/1m5f6s2f9tti4tf74nwc77zdw5rbm1lz.webp

 

реальный адрес куда попадает картинка после парсинга

 

https://mebeli-shop.ru/image/catalog/product/3/1m5f6s2f9tti4tf74nwc77zdw5rbm1lz.webp

 

Как я понял при парсинге присваивается не правильный адрес ссылки на изображение.

Не могу понять это защита от парсинга или проблема изображений webp. Может кто подскажет как решить эту проблему.