[Поддержка] SimplePars - Универсальный парсер для ИМ

[2b3]

нажна помощь с настройкой SimplePars, ну или хотя бы дельный совет, если можно в лс, дабы не засорять тему автору

[Nameless]

Всем, привет! Обнаружил, что в задании крона выполняется только часть задания. С чем может быть связано, что обрабатываются не все ссылки. У меня вкл. все 5 потоков с 0 таймаутом. Если запустить руками то это задание вообще меньше минуты выполняется:

  Показати вміст

 

 

 

 

 

 П.С.

 

Походу получается парсер дергает все задания по таймауту в кроне, у меня стоит 1 минута и 5 потоков, выходит 300 операций в час. И как тогда быть если в кроне ограничение на запуск до 1 минуты...

[Rassol2]

  В 05.05.2022 в 10:38, Nameless сказав:

Всем, привет! Обнаружил, что в задании крона выполняется только часть задания. С чем может быть связано, что обрабатываются не все ссылки. У меня вкл. все 5 потоков с 0 таймаутом. Если запустить руками то это задание вообще меньше минуты выполняется:

  Показати вміст

 

 

 

 

 

 П.С.

 

Походу получается парсер дергает все задания по таймауту в кроне, у меня стоит 1 минута и 5 потоков, выходит 300 операций в час. И как тогда быть если в кроне ограничение на запуск до 1 минуты...

Expand  

В корне нет такого ограничения. Настройте крон как в инструкции написано, инструкция про крон на хостинге. И что бы файл /admin/sp_cron.php вызывался через веб запрос и будет счастье. 

[Nameless]

  В 05.05.2022 в 11:43, Rassol2 сказав:

В корне нет такого ограничения. Настройте крон как в инструкции написано, инструкция про крон на хостинге. И что бы файл /admin/sp_cron.php вызывался через веб запрос и будет счастье. 

Expand  

 

 Так у вас в примере как раз каждую минуту запуск идет и скрин из isp панели в которой также минимальное время 1 минута. Для запуска чаще нужно кастыли мутить, все бы ничего только доступа к серванту нету: https://ru.stackoverflow.com/questions/851280/cron-запуск-каждые-10-секунд или https://www.opennet.ru/openforum/vsluhforumID9/9734.html

 Выходит я могу спарить только 300 ссылок/час получается или что-то недопонимаю?

 

[Rassol2]

  В 05.05.2022 в 12:03, Nameless сказав:

 

 Так у вас в примере как раз каждую минуту запуск идет и скрин из isp панели в которой также минимальное время 1 минута. Для запуска чаще нужно кастыли мутить, все бы ничего только доступа к серванту нету: https://ru.stackoverflow.com/questions/851280/cron-запуск-каждые-10-секунд или https://www.opennet.ru/openforum/vsluhforumID9/9734.html

 Выходит я могу спарить только 300 ссылок/час получается или что-то недопонимаю?

 

Expand  

Задание выполняется а дальше само себя дергает повторно, так что нет раз в минуту дергает крон на хостинге, но это не значит что модуль выполняет задание только раз в минуту.

[Rassol2]

  В 05.05.2022 в 09:58, 2b3 сказав:

нажна помощь с настройкой SimplePars, ну или хотя бы дельный совет, если можно в лс, дабы не засорять тему автору

Expand  

Вас нет в числе покупателей модуля.
Так же вы мне в лс написали что у вас стоят или стоит ломанный модуль, понятное дело что я таким пользователям не предоставляю поддержку, а сейчас трачу время только на ответы своим клиентам, мне бы на них время достать.
 

[2b3]

  В 05.05.2022 в 12:14, Rassol2 сказав:

Вас нет в числе покупателей модуля.
Так же вы мне в лс написали что у вас стоят или стоит ломанный модуль, понятное дело что я таким пользователям не предоставляю поддержку, а сейчас трачу время только на ответы своим клиентам, мне бы на них время достать.
 

Expand  

да, извините, действительно так и есть - я ничего не скрываю говорю как есть..., но ради того что б оно толком работало, как нужно , я судовольствием купил бы у вас лицензию и настройку (если таковую предоставляете)

[Rassol2]

  В 05.05.2022 в 12:41, 2b3 сказав:

да, извините, действительно так и есть - я ничего не скрываю говорю как есть..., но ради того что б оно толком работало, как нужно , я судовольствием купил бы у вас лицензию и настройку (если таковую предоставляете)

Expand  

У меня услуги настройки модуля нет, у меня нет на это время. Есть ребята у кого вы можете заказать настройку я думаю они сами тут отзовутся.

 

[Nameless]

  В 05.05.2022 в 12:09, Rassol2 сказав:

Задание выполняется а дальше само себя дергает повторно, так что нет раз в минуту дергает крон на хостинге, но это не значит что модуль выполняет задание только раз в минуту.

Expand  

 

 

А оно себя дергает только если через wget запускается, если напрямую, то нет? Вгет у меня авторизацию не проходит...

 

[Rassol2]

  В 05.05.2022 в 15:06, Nameless сказав:

 

 

А оно себя дергает только если через wget запускается, если напрямую, то нет? Вгет у меня авторизацию не проходит...

 

Expand  

Вот и ответ на ваш вопрос.

Поскольку половина хостеров рукожопы, то я всегда рекомендую через вегет, он работает всегда.

 

Откройте

/admin/model/catalog/simplepars.php

найдите строку

#curl_setopt($ch, CURLOPT_USERPWD, 'login:password');

и удалите в начале нее знак решетки, а вместо логина и паролья запищите логин и пароль от вашей дополнительной авторизации.
И мродуль сможет дергать с учетом htpasswd

[Nameless]

  В 06.05.2022 в 01:10, Rassol2 сказав:

Откройте

/admin/model/catalog/simplepars.php

Expand  

 

 

Точно, менял пароль от предавторизации и забыл про этот файл. Работает не только через вгет но и на прямую. спасибо

[Aspirinnka1]

  В 04.05.2022 в 10:07, AntonVN сказав:

В следствии чего я и полагаю, что предварительно xml загружается на сервер и обрабатывается уже на месте...

Expand  

хм, когда у меня в списке товаров стали появляться товары с окончанием .xml - я решил, что что-то делаю не так, а в списке должны появиться конкретные товары со ссылкой на сайт донора. Вот блин, похоже, вы правы. Я просто не дошел до вкладки Парсинг в ИМ и не посмотрел, что там будет! Спасибо за подсказку! Буду пробовать.

[partshez]

Подскажите, кто знает. До вчерашнего дня крон работал нормально. Сегодня не запускается даже из браузера ваш сайт/admin/ sp_cron.php.

Переустановил модуль, файл php загружен правильный. Не срабатывает. Ничего не изменялось на сайте, особо не добавлялось, свободное место на сервере есть. Куда смотреть? 

[Rassol2]

  В 06.05.2022 в 13:24, partshez сказав:

Подскажите, кто знает. До вчерашнего дня крон работал нормально. Сегодня не запускается даже из браузера ваш сайт/admin/ sp_cron.php.

Переустановил модуль, файл php загружен правильный. Не срабатывает. Ничего не изменялось на сайте, особо не добавлялось, свободное место на сервере есть. Куда смотреть? 

Expand  

Зачем переставлять модуль ? Он не яйца и сам по себе не тухнет.
Вам нужно было открыть файл логов ошибок и посмотреть что там, есть ли ошибки в файлах с именем simplepars.

Так же предварительно выключить вывод ошибок на экран или в файл, а то часто люди отключают показ ошибок и говорят что их нет.

[Nameless]

  В 06.05.2022 в 13:24, partshez сказав:

Подскажите, кто знает. До вчерашнего дня крон работал нормально. Сегодня не запускается даже из браузера ваш сайт/admin/ sp_cron.php.

Переустановил модуль, файл php загружен правильный. Не срабатывает. Ничего не изменялось на сайте, особо не добавлялось, свободное место на сервере есть. Куда смотреть? 

Expand  

 

 

Вкл оповещение по работе крона на почту, там видно ошибки будет и проверьте пароли авторизации

[egortide]

Подскажите пожалуйста, как себя будет вести парсер, если я поставлю в такой последовательности задачи:

1) Обработчик XML (с 11 до 23, пауза 1 час)
2) Парсинг в XML (с 11 до 23, пауза 1 час)

При этом файла, который должен открыть обработчик XML не будет. Файл появится в 14-15 часов условно. SimplePars будет пытаться запустить обработчик, он будет давать ошибку, что файл не найден, парсинг тоже будет выдавать ошибку. И так каждый час эти две задачи будут "пытаться" запуститься до тех пор пока не появится файл?
Или не каждый час? Как себя ведет парсер в таком случае?

[Rassol2]

  В 07.05.2022 в 14:45, egortide сказав:

Подскажите пожалуйста, как себя будет вести парсер, если я поставлю в такой последовательности задачи:

1) Обработчик XML (с 11 до 23, пауза 1 час)
2) Парсинг в XML (с 11 до 23, пауза 1 час)

При этом файла, который должен открыть обработчик XML не будет. Файл появится в 14-15 часов условно. SimplePars будет пытаться запустить обработчик, он будет давать ошибку, что файл не найден, парсинг тоже будет выдавать ошибку. И так каждый час эти две задачи будут "пытаться" запуститься до тех пор пока не появится файл?
Или не каждый час? Как себя ведет парсер в таком случае?

Expand  

Здравствуйте.

Модуль будет пытатся только в то время когда вы указали с 11 до 23
Если файл будет то будет парсинг если нет то нет. Второе задание точно так же если ссылки будут то будет работать если нет то нет. Но только в указанное вами время.

[egortide]

  В 07.05.2022 в 16:46, Rassol2 сказав:

Модуль будет пытатся только в то время когда вы указали с 11 до 23

Expand  

А с какой частотой будет пытаться? С частотой равной таймауту?)

[Rassol2]

  В 08.05.2022 в 00:15, egortide сказав:

А с какой частотой будет пытаться? С частотой равной таймауту?)

Expand  

Раз в минуту. 

[3DO]

@Rassol2 , форум, приветствую!

 

  

  Показати вміст

В xml выгрузке

https://novasport.ru/yml/gen3.xml

 

блок товара

 

<price Уровень1="Зимние спортивные товары" Уровень2="Лыжные ботинки" Уровень3="SPINE" Уровень4="Ботинки NNN" Уровень5="Ботинки лыжные NNN SPINE Next (кожа)" Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Остаток="-" id="5083"/>

 

При указании границы деления текста на товары

начало "<price" и

конец "/>"

обработчик xml не подает признаков окончания процесса (5мин, 10мин, 30мин), ошибок тоже нет, если принудительно остановить и зайти на вкладку сбора ссылок всегда разное количество, но не все.

Настройки хостинга менял, в настройке модуля "Макс. время выполнения запроса" тоже, результат тот же.

 

Попытался сократить границу до:

Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Остаток="-" id="5083"/>

начало "Артикул="" и

конец "/>"

 

  Показати вміст

 

Обработчик завершает процесс деления на товары, ссылок: 29453, ок!

Но когда переходим на вкладку "Настройка парсинга", выбираем любую ссылку для просмотра то выдается пустая граница:

 

  Показати вміст

 

SPsetting-3.jsonFetching info...

 

SPsetting-4.jsonFetching info...

 

 

Змінено 8 травня 2022 користувачем 3DO

[Rassol2]

Здравствуйте. 
так ответить не могу на ваш вопрос но сегодня завтра посмотрю настройки и отпишусь. 

[egortide]

Подскажите пожалуйста, Настройки допуска к обработке страниц в вкладке Парсинг в ИМ работают по какой логике: И ? ИЛИ? не нашел инфы в документации

[Rassol2]

  В 09.05.2022 в 14:19, egortide сказав:

Подскажите пожалуйста, Настройки допуска к обработке страниц в вкладке Парсинг в ИМ работают по какой логике: И ? ИЛИ? не нашел инфы в документации

Expand  

По логике И

[Rassol2]

  В 08.05.2022 в 11:05, 3DO сказав:

@Rassol2 , форум, приветствую!

 

  

  Показати вміст

В xml выгрузке

https://novasport.ru/yml/gen3.xml

 

блок товара

 

<price Уровень1="Зимние спортивные товары" Уровень2="Лыжные ботинки" Уровень3="SPINE" Уровень4="Ботинки NNN" Уровень5="Ботинки лыжные NNN SPINE Next (кожа)" Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Остаток="-" id="5083"/>

 

При указании границы деления текста на товары

начало "<price" и

конец "/>"

обработчик xml не подает признаков окончания процесса (5мин, 10мин, 30мин), ошибок тоже нет, если принудительно остановить и зайти на вкладку сбора ссылок всегда разное количество, но не все.

Настройки хостинга менял, в настройке модуля "Макс. время выполнения запроса" тоже, результат тот же.

 

Попытался сократить границу до:

Артикул="8468" Наименование="Ботинки лыжные NNN SPINE Next (кожа) 35р." Цена="2497" ЦенаОПТ1="1619" ЦенаОПТ2="1542" ЦенаОПТ3="1469" Остаток="-" id="5083"/>

начало "Артикул="" и

конец "/>"

 

  Показати вміст

 

Обработчик завершает процесс деления на товары, ссылок: 29453, ок!

Но когда переходим на вкладку "Настройка парсинга", выбираем любую ссылку для просмотра то выдается пустая граница:

 

  Показати вміст

 

SPsetting-3.json 3 \u041a\u0431 · 0 скачиваний

 

SPsetting-4.json 3 \u041a\u0431 · 0 скачиваний

 

 

Expand  

Взял ваш файл настроек 3 и поделил все вышло.

вы уверены что у вас нет ошибок в логха php ?

[yastman]

Добрый день, подскажите а где хранятся настройки всех проектов и настройка крона, хочу переустановить все.

но не особо хочеться,заново все проекты подымать