[Поддержка] SimplePars - Универсальный парсер для ИМ

[Axelenz]

02.02.2025 в 14:53, Malciska сказал:

https://pro.hostingas.lt/profesionalus.html

 

SOLO план

Так ресурс приличный... я бы поинтересовался всё же у них, насколько соответствует "* * * * *" реальности. Иногда бывает, что дают месяц ежеминутного срабатывания в планировщике, а когда клиенты продляют хостинг, то странным образом планировщик начинает срабатывать уже раз в 5-10-15 минут... Есть опыт таких хостингов...

[Malciska]

XML на 45 товаров.

Запускаю обработку руками , обрабатывает 1,5 минуты

Когда запускается через крон - обрабатывается 15 минут

 

Так должно быть?

 

В логах проекта наблюдаю время обработки ссылок

Когда на кроне чч.мм.00-05сек

перерыв до след минуты и опять чч.мм.00-05сек

 

Когда вручную - чч.мм.00-59сек

Все ссылки одна за одной обрабатываются без перерывов

 

 

Змінено 4 лютого користувачем Malciska

[Rassol2]

04.02.2025 в 01:58, Malciska сказал:

XML на 45 товаров.

Запускаю обработку руками , обрабатывает 1,5 минуты

Когда запускается через крон - обрабатывается 15 минут

 

Так должно быть?

 

В логах проекта наблюдаю время обработки ссылок

Когда на кроне чч.мм.00-05сек

перерыв до след минуты и опять чч.мм.00-05сек

 

Когда вручную - чч.мм.00-59сек

Все ссылки одна за одной обрабатываются без перерывов

 

 

У крона чуть ниже скорость повторного вызова, но нет полторый минуты и 15 так не должно быть.
Полторы в ручном и 2 - 2.5  в кроне думаю это в пределе нормы.

[solohaigor]

02.02.2025 в 14:46, Malciska сказал:

Может что на хостинге что нибудь поменяли в настройках сервера?

Что бы дать верный Вам ответ. Прикрепите Ваш проект в сообщении!!!

[Rassol2]

Нужно немного вашего мнения.

Хочу поделится тем что было задумано, но не судьба свершится. А так же услышать ваше мнение.
Разрабатывать данный модуль мне очень нравилось, и где то к 4 году стало полностью понятно что такому проекту душно в пределах OpenCart и можно было бы реализовать гораздо больше функций по парсингу.

К примеру.
1) Парисинг с поддержкой JavaScript
2) Поддержка любых типов авторизации.
3) Нормальная система антидекта париснга. Она включает в себя сильные инструменты по проксированию.
4) Несколько методов настроек границ парсинга. (В плоть на кликнул на элемент и модуль сам определил границу)
5) Полноценная много поточность. И скорость.
6) Формирование прайсов любой сложности. В отдельности одна колонка один атрибут, и что бы парсер сам все сдвигал и сохранял порядок.

Но сделать это в пределах OpenCart и PHP невозможно, и я с середины 21 года приступил к изучению новых языков программирования и проектирования нового Десктопного Парсера
SimplePars PRO  (грустно осознавать что все пошло по *****)

Это приложение должно было производить парсинг на компьютере и сохранять данные в разные типы таблиц.
Но что бы сделать его реально полезным для всех в планах было реализовать совместимость с SimplePars , по как минимум двум сценариям.
1) Парсится на вашем компе и данные отправляются на ваш сайт и через модуль simplepars данные записываются в базу.
2) парсятся страницы и отправляются на ваш сайт где вы можете просто силами симпле парс обработать все страницы по вашим настройкам. (типо декстопная версия отправляет на сайт веш страни а там все все просто прогоняете. )

Учитывая что это могло работать с Javascript и всеми типами авторизации это был бы сильны инструмент.

Из бонуса для всех клиентов SimplePars должно было стать то что приложение будет разработано с аналогичным интерфейсом, и функционалом. То есть все то что вы уже научились делать в вебе было бы применимо и на декстопе. Только быстрее, без ограничений веба и ресурсов.
Так же это приложением могли бы работать в режиме консоли, то есть вы его могли бы настроить его, поместить на хостинг указать в кроне запукать, и оно бы делало свою работу.

Таковы были планы.
Сейчас у меня есть огрызки той программы, она замерла на этапе написания сбора ссылок. Даже этот элемент не готов.
Первая реализация должна была повторить фунции что есть в декстопной версии а после уже расширять на работу с js и так далее.

 

Собственно мой вопрос в том.
Как часто вы пользуетесь парсингом данных в прайс листы ?
Есть ли смысл допилить приложуху до банального сборщика ссылок и парсинга в прайс листы и выкатить.
Интересуюсь не с коммерческой целью приложение будет бесплатно раздаваться здесь, по крейне мере пока это будет просто хобби.

И сразу говорю, то что я задал этот вопрос это ничего не значит, возможно завтра все круто поменяется и я уже никогда не вернусь к этому вопросу. А возможно буду пилить по версии в год.

Все то вы думаете пишите здесь, писать мне в лс по этому вопросу бесполезно, я буду игнорить.

[Axelenz]

Цитата

2) парсятся страницы и отправляются на ваш сайт где вы можете просто силами симпле парс обработать все страницы по вашим настройкам. (типо декстопная версия отправляет на сайт веш страни а там все все просто прогоняете. )

Немного подобное я у себя на локалке реализовывал, парсил практически всё, что только открывается в браузере, а потом скармливал эти страницы SimplePars. Скорость конечно не та... но зато обходит любые защиты... Для рядового пользователя это конечно вряд ли пригодится, а вот для исполнителей вещь нужная.

 

Цитата

4) Несколько методов настроек границ парсинга. (В плоть на кликнул на элемент и модуль сам определил границу)

Интересно было бы расширение в плане, что границы можно как угодно расписать, например, используя разную логику... ЕСЛИ, ИЛИ...

Если НЕТ чего-то, то границу брать вот эту, а если ЕСТЬ что-то, то границу берём другую... Может и не совсем понятно расписал, если коротко: расширить возможности границ, сделать их ещё гибче...

Зачем это нужно...

Постоянно парсю некоторые маркеты и сайты на одних и тех же CMS и получается, что у сайтов коды как бы и похожи, но могут отличаться совсем незначительно... т.е. интересно было бы взять уже известный набор вариантов границ для одного маркета и сразу вставить его, понять, какой именно вариант модуль выбрал и не заглядывать даже в код ) Можно так создать такую себе мини-базу вариантов парсинга границ определённой CMS или маркета...

Цитата

5) Полноценная много поточность. И скорость.

Добавил бы больше "человеческого фактора" в работу модуля... в эти поточности... Рандомные задержки хорошо, я бы ещё добавил типа перерывов рандомных, которые уже измеряются не секундами, а минутами. Сколько их делать в течение часа и на сколько минут... от 1 мин до 60 минут максимум. При такой логике работы на порядок сложнее будет вычислить работу парсинга... 

Цитата

6) Формирование прайсов любой сложности. В отдельности одна колонка один атрибут, и что бы парсер сам все сдвигал и сохранял порядок.

Постоянно делаю прайсы с помощью модуля... Хватает и тех возможностей, что есть уже, но если это возможно ещё больше расширить, то будет просто шикарно...

 

 

Чего не хватает и приходится использовать другие модули.

Работа с товарами, которые уже есть в базе.

Этого функционала много никогда не бывает... Понятно, что SimplePars это не Batch Editor но всё же есть куда расширяться.

Вещи, которые практически всегда необходимы:

работа с акциями и скидками, датами их начала и конца, фиктивные разные наценки/скидки по типу, как у АОП и пр. 

 

 

Цитата

1) Парисинг с поддержкой JavaScript
2) Поддержка любых типов авторизации.
3) Нормальная система антидекта париснга. Она включает в себя сильные инструменты по проксированию.

Это всё хорошо... из личного опыта... ну очень редко пользуюсь подобным. Зато массово люди используют выгрузки, которые поставщики используют, чтобы меньше их парсили ) Вот тут бы расширить возможности привносить изменения в xml на разных этапах загрузки было бы весьма здорово... Опять же ошибок много в этих фидах встречается... 

Змінено 5 лютого користувачем Axelenz

[Rassol2]

05.02.2025 в 16:23, Axelenz сказал:

Интересно было бы расширение в плане, что границы можно как угодно расписать, например, используя разную логику... ЕСЛИ, ИЛИ...

Если НЕТ чего-то, то границу брать вот эту, а если ЕСТЬ что-то, то границу берём другую... Может и не совсем понятно расписал, если коротко: расширить возможности границ, сделать их ещё гибче...

Можно будет зафигачить и такое.
Сейчас в параметрах париснга можно использовать {skip}
кстати кто не знал.
 

Скрытый текст

 

Цитата

Чего не хватает и приходится использовать другие модули.

Работа с товарами, которые уже есть в базе.

Этого функционала много никогда не бывает... Понятно, что SimplePars это не Batch Editor но всё же есть куда расширяться.

Вещи, которые практически всегда необходимы:

работа с акциями и скидками, датами их начала и конца, фиктивные разные наценки/скидки по типу, как у АОП и пр. 

Это точно не вопрос данной темы, так как я тут говорю про десктопный парсер, который будет просто парсер без огладки на опенкарт.
То что у него будет возможность конектится с текущем модулем и взаимодействовать с ним. Это немного другое.
То что вы тут пишите это уже про развитие самого модуля SimplePars.

Что касается самого модуля SimplePars что бы его развивать для начала нужно переоценить все что есть, и вырезать много рудементов которые уже не состоятельны и развивать их нет смысла. Такие как авторизация.
Другие составляющие нужно полностью переписывать под новые реалии.

 

05.02.2025 в 16:23, Axelenz сказал:

Это всё хорошо... из личного опыта... ну очень редко пользуюсь подобным. Зато массово люди используют выгрузки, которые поставщики используют, чтобы меньше их парсили ) Вот тут бы расширить возможности привносить изменения в xml на разных этапах загрузки было бы весьма здорово... Опять же ошибок много в этих фидах встречается... 

В десктопном варианте этой теме можно дать большой ход.
В вебе все упераеться в ограничение времени выполнения срипта, оперативной памяти.
на десктопе можно сделать все что угодно.

Я когда то пользовался программой контент довлоадер x1
вот то что я начинал делать должно было бы решить многие вопросы той программы. А сейчас насколько я знаю эту программу уже и не развивают.

[SSHEVA]

05.02.2025 в 23:23, Rassol2 сказал:

Есть ли смысл допилить приложуху до банального сборщика ссылок и парсинга в прайс листы и выкатить.
Интересуюсь не с коммерческой целью приложение будет бесплатно раздаваться здесь, по крейне мере пока это будет просто хобби.

Стосовно програми зайвим точно не булоб) 

[Flint2000]

В 05.02.2025 в 23:23, Rassol2 сказав:

Как часто вы пользуетесь парсингом данных в прайс листы ?

Частіше ніж парсинг одразу в магазин, бо навіть SimplePars на опенкарті вирос за межі самого опенкарту і як інструмент використовується для різних задач.

 

В 05.02.2025 в 23:23, Rassol2 сказав:

Есть ли смысл допилить приложуху до банального сборщика ссылок и парсинга в прайс листы и выкатить.

Так. Я колись парсив навіть за допомогою SEO Frog але там до крику не зручно

[partshez]

05.02.2025 в 23:23, Rassol2 сказал:

1) Парисинг с поддержкой JavaScript
2) Поддержка любых типов авторизации.
3) Нормальная система антидекта париснга. Она включает в себя сильные инструменты по проксированию.
4) Несколько методов настроек границ парсинга. (В плоть на кликнул на элемент и модуль сам определил границу)
5) Полноценная много поточность. И скорость.
6) Формирование прайсов любой сложности. В отдельности одна колонка один атрибут, и что бы парсер сам все сдвигал и сохранял порядок.

Каждый пункт интересный. Высказываю только свое мнение.

05.02.2025 в 23:23, Rassol2 сказал:

Из бонуса для всех клиентов SimplePars должно было стать то что приложение будет разработано с аналогичным интерфейсом, и функционалом. То есть все то что вы уже научились делать в вебе было бы применимо и на декстопе. Только быстрее, без ограничений веба и ресурсов.

Шикарные планы!

05.02.2025 в 23:23, Rassol2 сказал:

Учитывая что это могло работать с Javascript и всеми типами авторизации это был бы сильны инструмент.

Очень не хватает этого функционала. 

05.02.2025 в 23:23, Rassol2 сказал:

Как часто вы пользуетесь парсингом данных в прайс листы ?

Не часто лично я сталкиваюсь с этим вопросом. 

05.02.2025 в 23:23, Rassol2 сказал:

В отдельности одна колонка один атрибут, и что бы парсер сам все сдвигал и сохранял порядок.

Вот это было бы неплохо. 

06.02.2025 в 01:15, Rassol2 сказал:

я тут говорю про десктопный парсер, который будет просто парсер без огладки на опенкарт.

Хотелось бы получить такой функционал

 

06.02.2025 в 00:23, Axelenz сказал:

Интересно было бы расширение в плане, что границы можно как угодно расписать, например, используя разную логику... ЕСЛИ, ИЛИ...

Если НЕТ чего-то, то границу брать вот эту, а если ЕСТЬ что-то, то границу берём другую... Может и не совсем понятно расписал, если коротко: расширить возможности границ, сделать их ещё гибче...

Присоединяюсь...

[ruvenum]

05.02.2025 в 23:23, Rassol2 сказал:

Нужно немного вашего мнения.

Хочу поделится тем что было задумано, но не судьба свершится. А так же услышать ваше мнение.
Разрабатывать данный модуль мне очень нравилось, и где то к 4 году стало полностью понятно что такому проекту душно в пределах OpenCart и можно было бы реализовать гораздо больше функций по парсингу.

К примеру.
1) Парисинг с поддержкой JavaScript
2) Поддержка любых типов авторизации.
3) Нормальная система антидекта париснга. Она включает в себя сильные инструменты по проксированию.
4) Несколько методов настроек границ парсинга. (В плоть на кликнул на элемент и модуль сам определил границу)
5) Полноценная много поточность. И скорость.
6) Формирование прайсов любой сложности. В отдельности одна колонка один атрибут, и что бы парсер сам все сдвигал и сохранял порядок.

Но сделать это в пределах OpenCart и PHP невозможно, и я с середины 21 года приступил к изучению новых языков программирования и проектирования нового Десктопного Парсера
SimplePars PRO  (грустно осознавать что все пошло по *****)

Это приложение должно было производить парсинг на компьютере и сохранять данные в разные типы таблиц.
Но что бы сделать его реально полезным для всех в планах было реализовать совместимость с SimplePars , по как минимум двум сценариям.
1) Парсится на вашем компе и данные отправляются на ваш сайт и через модуль simplepars данные записываются в базу.
2) парсятся страницы и отправляются на ваш сайт где вы можете просто силами симпле парс обработать все страницы по вашим настройкам. (типо декстопная версия отправляет на сайт веш страни а там все все просто прогоняете. )

Учитывая что это могло работать с Javascript и всеми типами авторизации это был бы сильны инструмент.

Из бонуса для всех клиентов SimplePars должно было стать то что приложение будет разработано с аналогичным интерфейсом, и функционалом. То есть все то что вы уже научились делать в вебе было бы применимо и на декстопе. Только быстрее, без ограничений веба и ресурсов.
Так же это приложением могли бы работать в режиме консоли, то есть вы его могли бы настроить его, поместить на хостинг указать в кроне запукать, и оно бы делало свою работу.

Таковы были планы.
Сейчас у меня есть огрызки той программы, она замерла на этапе написания сбора ссылок. Даже этот элемент не готов.
Первая реализация должна была повторить фунции что есть в декстопной версии а после уже расширять на работу с js и так далее.

 

Собственно мой вопрос в том.
Как часто вы пользуетесь парсингом данных в прайс листы ?
Есть ли смысл допилить приложуху до банального сборщика ссылок и парсинга в прайс листы и выкатить.
Интересуюсь не с коммерческой целью приложение будет бесплатно раздаваться здесь, по крейне мере пока это будет просто хобби.

И сразу говорю, то что я задал этот вопрос это ничего не значит, возможно завтра все круто поменяется и я уже никогда не вернусь к этому вопросу. А возможно буду пилить по версии в год.

Все то вы думаете пишите здесь, писать мне в лс по этому вопросу бесполезно, я буду игнорить.

поддерживаю полностью каждый пункт
если будет десктопная версия куплю обязательно

[SSHEVA]

06.02.2025 в 01:15, Rassol2 сказал:

В десктопном варианте этой теме можно дать большой ход.
В вебе все упераеться в ограничение времени выполнения срипта, оперативной памяти.
на десктопе можно сделать все что угодно.

Я за, десктопний варіант, навіть готовий допомогти в розробці та тестуванні. 

[Rassol2]

07.02.2025 в 11:25, SSHEVA сказал:

Я за, десктопний варіант, навіть готовий допомогти в розробці та тестуванні. 

Спасибо за предложение но пока сам все.
Почему я заговорил об этом.

Я по образованию не программист, и php учил для того что бы написать модуль. Ну и много чего узнал. Судить о качестве кода я не буду, явно меня бы застрелили. Но если работает это хорошо.

Когда занимался паркингом понял что Python это то что нужно. Язык программирования обшего назначения, если я смогу с ним разобратся тогда по сути у меня будет инструмент который поможет мне автоматизировать многие процессы, чего не мог сделать php в силу того что он придуман исключительно для веба.

Так вот написание десктопного парсера мне нужно как обьект на котором я буду учится работать с python
Вот по этому я и заговорил о теме, что то для тестов писать нужно, так почему бы не повторить функционал в версии декстопа.
Если он будут пользоваться спросом тогда можно будет развивать функционал.

[SSHEVA]

07.02.2025 в 20:27, Rassol2 сказал:

Спасибо за предложение но пока сам все.
Почему я заговорил об этом.

Я по образованию не программист, и php учил для того что бы написать модуль. Ну и много чего узнал. Судить о качестве кода я не буду, явно меня бы застрелили. Но если работает это хорошо.

Когда занимался паркингом понял что Python это то что нужно. Язык программирования обшего назначения, если я смогу с ним разобратся тогда по сути у меня будет инструмент который поможет мне автоматизировать многие процессы, чего не мог сделать php в силу того что он придуман исключительно для веба.

Так вот написание десктопного парсера мне нужно как обьект на котором я буду учится работать с python
Вот по этому я и заговорил о теме, что то для тестов писать нужно, так почему бы не повторить функционал в версии декстопа.
Если он будут пользоваться спросом тогда можно будет развивать функционал.

Python хороший выбор, так как там обширная библиотека, я в основном тоже на нем пишу задачи, а для інтерфейса как варіант можно сделать связку с Python + PyQt, а дальше можно расширять без проблем, причем  Python кроссплатформенен. 

[Rassol2]

07.02.2025 в 13:50, SSHEVA сказал:

Python хороший выбор, так как там обширная библиотека, я в основном тоже на нем пишу задачи, а для інтерфейса как варіант можно сделать связку с Python + PyQt

Выбор очевиден )
Из языков обшего назначение которые можно использовать почти в любой сфере, для задач не уровня ААА
Есть по сути два языка Python, и JavaScript
Не в обиду всем кто любит JS? это мрак.
Читаемость около нулевая, количество костылей зашкаливает.
Короче у меня с js не любовь с первого взгляда.

У питона тоже есть неприятные моменты, но он прекрасен в сравнении с JavaScript
 

[SSHEVA]

07.02.2025 в 22:00, Rassol2 сказал:

Выбор очевиден )
Из языков обшего назначение которые можно использовать почти в любой сфере, для задач не уровня ААА
Есть по сути два языка Python, и JavaScript
Не в обиду всем кто любит JS? это мрак.
Читаемость около нулевая, количество костылей зашкаливает.
Короче у меня с js не любовь с первого взгляда.

У питона тоже есть неприятные моменты, но он прекрасен в сравнении с JavaScript
 

полностью согласен, потому что когда JavaScript начинаешь править то там все очень и очень как клубок...

[Flint2000]

В 07.02.2025 в 20:27, Rassol2 сказав:

Когда занимался паркингом понял что Python это то что нужно.

Більшість парсерів на пітоні, там широкий набір засобів для цього. Чомусь одразу і подумав, що десктоп на пітоні буде

[Rassol2]

Я же надеюсь все осознаю что если будет то это будет не скоро, так как нужно язык выучить новый. Это как бы не на прогулку сходит.
Учитывая что когда я работал над simplepars я посвешал все свободное время, то сейчас буду посвешать все осташаесь время.
Да а когда хоть что то появится что можно показать, это не будет вся мощь пайтона в знакомом интерфейсе.

Это будет скорее всего приложение с парой кнопок для сбора ссылок с одной двумя настройками. И никакой обработки JS там не будет.
Все делается маленькими шагами. Лилипутиками.

[Rassol2]

07.02.2025 в 15:06, Flint2000 сказал:

Більшість парсерів на пітоні, там широкий набір засобів для цього. Чомусь одразу і подумав, що десктоп на пітоні буде

Могу ошибаться, но там мошная библиотека bs4 для париснга кода.
Но на первом этапе она не поможет

Для начала я буду реализовать тот функционал что есть в моем модуле, максимально схоже, что бы все клиенты которые когда либо потратили свое время на понимание моего модуля оказались в знакомой среде, и им не нужно было учится заново. Все механики которые были придуманы они останутся.
А значит и настройки параметров парсинга тоже. В дальнейшем конечно да в пайтоне много инструментов которые могут раскрыть процесс парсинга по новому.

[Flint2000]

В 07.02.2025 в 23:46, Rassol2 сказав:

Могу ошибаться, но там мошная библиотека bs4 для париснга кода.

Не тільки вона, там ще є і бібліотека для емуляції браузера

[Flint2000]

В 07.02.2025 в 23:31, Rassol2 сказав:

Я же надеюсь все осознаю что если будет то это будет не скоро, так как нужно язык выучить новый.

Рівень входження в python нижчий ніж в php. Кож більш візуально зрозумілий

[Rassol2]

08.02.2025 в 03:52, Flint2000 сказал:

Рівень входження в python нижчий ніж в php. Кож більш візуально зрозумілий

Не знаю как по мне нет.
В php все просто с типизацией данных, ее нет.
Так же массивы в php они прекрасны по своей простоте. В питоне
Списки
Словари
Кортежи
последовательности.

И добавление данных в эти, по сути массивы, везде по разному.
Так же и в циклах работать с массивами в php одно удовольствие.
В питоне нужно больше контроля.

Я не говорю что он хуже в этом плане. Но уж точно сложнее это все охватить.
Но это мое субьективное.

По этому хучу освоить питон что бы это был мой последний язык программирования который я учу. В дальше просто иметь его в своем арсенале для решения своих задач.
Хочеш сайт, пожайлуста.
Хочеш скрипт для пк, пожалуйста.
Пиложение для пк, тоже можно.
Нейросетка, не вопрос.
Автоматизация каких то рутинных задач, мы готовы.
Как то так.

[Malciska]

А возможно ли чтобы логи работы скриптов в окне логов проекта подсвечивались другим цветом? 

[Rassol2]

08.02.2025 в 14:01, Malciska сказал:

А возможно ли чтобы логи работы скриптов в окне логов проекта подсвечивались другим цветом? 

Здравствуйте.
нет такой возможности нет, нужно вносить правки в код модуля, и переделывать представление на странице логов так как логи выводятся в
textarea а он не поддерживает стилизацию текста.

[jeka3342]

Доброго дня. Підкажіть, будь ласка, як можна швидко на сайті повністю видалити модуль - файлі, таблиці бд від модуля, стовбчик cost в таблиці product? Чи треба вручну пройтись по файлам та базі?