[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 час назад, white130489 сказал:

есть пробная версия, чтобы понять стоит ли покупать?

Здравствуйте.
Да для этого есть демо сайт с установленным модулем

 

http://demo.simplepars.top/admin/

Логин - demo
Пароль - demo

[white130489]

есть возможность загружать картинки и сразу добавлять на свой сайт?

[Rassol2]

8 часов назад, white130489 сказал:

есть возможность загружать картинки и сразу добавлять на свой сайт?

Да конечно.

[Rassol2]

Хочу порадовать всех кто хочет видеть CRON в модуле.
Приступил к тестированию так что ближайшие пару дней будет обновление и в модуле появится крон.

Правда из всего что я хотел реализовано только 50% но заложен фундамент для очень гибкой настройки крон.

[ilyer]

Обновился и теперь при парсинге в csv файл кривая кодировка первых символов слова в каждой ячейке. что сделал не так?

[Rassol2]

9 минут назад, ilyer сказал:

Обновился и теперь при парсинге в csv файл кривая кодировка первых символов слова в каждой ячейке. что сделал не так?

Здравствуйте.
Скиньте прайс посмотрю. Но что бы первый символ в каждом слове, звучит загадочно.

[Vorodisa]

Разобрался

Змінено 2 березня 2020 користувачем Vorodisa

[Rassol2]

Обновление 3.2_beta

Реализован планировщик задач CRON


Теперь вы можете выполнять парсинг по расписанию.
А именно все то что вы делали до этого вручную теперь модуль может делать сам по расписанию.

Для того что бы настроить крон вам необходимо нажать на

Спойлер

Обратите внимание что это только первая реализация крона, здесь сделана малая часть всего того что я хочу реализовать. Но уже сейчас это очень мощный инструмент.
Так же на данный момент не реализована возможность сбора ссылок по расписанию, это еше ждет нас в будущем
 

Для работы CRON вам необходимо настроить его на хостинге.
https://simplepars.top/index.php?page=note&note_id=27

Далее вы можете переходить к настройке планировщика заданий в модуле SimplePars
https://simplepars.top/index.php?page=note&note_id=26

 

Особенности реализации CRON в SimplePars

Вы можете добавлять сколько угодно заданий в планировщик.

 

У вас может быть настроено выполнение двух трех и более заданий по одному донору.

 

Отдельно настраиваются параметры

1. Пауза парсинга
2. Использования кеша
3. Кол-во потоков

То есть вы можете парсить вручную в 5 потоков, а выполнение парсинга настроить по расписанию в один поток, и для этого вам ненужно будет перенастраивать сам проект.

 

Доступна информативная доска заданий

Спойлер

Где вы можете всегда проверить состояние задания, настройку времени или перейти к проекту нажав на его имя.

Для установки незабываем выполнить /inst.php

Ну что поздравляю всех вас с началом эпохи полной автоматизации обновления товаров, добавления товаров. И всего того что можно будет реализовать на базе планирование задач в SimplePars.

От себя добавлю мне это далось не просто, так что это ранняя версия которую пока не рекомендую использовать в боевых проектах, пока что только для тестирования.
Жду ваши отзывы!

[Kiyoshi]

Ух оффлайн загрузчика под ехала на да пощупать.

[Rassol2]

8 часов назад, Kiyoshi сказал:

Ух оффлайн загрузчика под ехала на да пощупать.

Да! Подъехал крон, дальше тестем и развиваем его !

[stas2010]

погоняю крон чуть позже, но уже и по скринам виден грамотный подход к реализации функционала. спасибо.

на практике других модулей могу сказать, что в первую очередь надо протестить именно остановку работы крона, иначе при корявой настройке парсинга можно натворить дел...

В АОП тоже имеется крон и там есть дублирующий вариант остановки выполнения задания в виде возможности удаления файла sos, при удалении которого в любом случае модуль останавливает свою работу.

Не знаю, как тут реализовано, но дублирующий "ручной тормоз" не был бы лишним, т.к. модули при кроне запускаются отдельно в фоне и не всегда можно до них достучаться, запустив тот же модуль через вэб.

 

 

 

[Rassol2]

погоняю крон чуть позже, но уже и по скринам виден грамотный подход к реализации функционала. спасибо.
на практике других модулей могу сказать, что в первую очередь надо протестить именно остановку работы крона, иначе при корявой настройке парсинга можно натворить дел...
В АОП тоже имеется крон и там есть дублирующий вариант остановки выполнения задания в виде возможности удаления файла sos, при удалении которого в любом случае модуль останавливает свою работу.
Не знаю, как тут реализовано, но дублирующий "ручной тормоз" не был бы лишним, т.к. модули при кроне запускаются отдельно в фоне и не всегда можно до них достучаться, запустив тот же модуль через вэб.
 
 
 

Здравствуйте. По ссылке на инструкцию можно прочесть что такой тормоз есть. Кнопка сверху выключить. И не нужно никуда лесть и удалить файлы. Просто нажмите ОТКЛЮЧИТЬ и все задания прекратят выполнятся.

Отправлено с моего Pixel через Tapatalk

[DPS]

Здравствуйте.

Не подскажите:

есть значение "х777" (икс + число), как через "поиск/замену" отрезать букву и оставить только число...

[Zetx]

Добрый день, скажите может ли работать этот модуль с каталогами доступными после ввода логина и пароля?

[Rassol2]

38 минут назад, DPS сказал:

Здравствуйте.

Не подскажите:

есть значение "х777" (икс + число), как через "поиск/замену" отрезать букву и оставить только число...

Здравствуйте.

можно через регулярные выражения указав такое правило
{reg[#[^0-9]#]}|

Подробности про поиск замену можете узнать здесь
https://simplepars.top/index.php?page=note&note_id=9

[Rassol2]

22 минуты назад, Zetx сказал:

Добрый день, скажите может ли работать этот модуль с каталогами доступными после ввода логина и пароля?

Здравствуйте.
Если вы имеете в виду может ли модуль парсить сайты с авторизацией то да модуль может.
Как парсить с авторизацией
https://simplepars.top/index.php?page=note&note_id=15

[Rassol2]

Обновление 3.2-1_beta

Обновления первого дня . Исправление недочетов.
Исправлено не правильное отображения статуса крона на главной странице.
 

Спойлер

Спасибо за найденный недочет - @lerand

Вообще это отображение это временный костыль и будет переделано, сейчас реализовано так что бы быстрее сделать релиз с кроном.

Так же по просьбе @stas2010Добавил на все страницы в заголовок имя проекта с которым вы работаете.
 

Спойлер

Началась эпоха мелких но интересных обновлений, так что подписывайтесь и не пропускайте )

[Rassol2]

Как показала практика прошедших двух дней есть у людей сложности по настройке CRON на хостинге.
Так что оставлю здесь ссылки на инструкции по настройке крон на разных хостингах.

Сейчас только 4 популярных что чаше всего встречаются, но по мере запросов буду добавлять ссылки.

Ссылки буду добавлять на страницу инструкций.
https://simplepars.top/index.php?page=note&note_id=27

 

REG.RU
https://www.reg.ru/support/hosting-i-servery/yazyki-programmirovaniya-i-skripty/planirovschik-cron

 

beget.com
https://beget.com/ru/manual/crontab

 

timeweb.com
Не рекомендую читать эту инструкцию, луче прочтите с другого хостинга и сделайте аналогично. Они тут сильно усложняют высе.
https://timeweb.com/ru/help/pages/viewpage.action?pageId=4358482

 

ukraine.com.ua
https://wiki.ukraine.com.ua/hosting:cron:add

[lerand]

1 час назад, Rassol2 сказал:

Спасибо за найденный недочет - @lerand

 

Вам СПАСИБО. В моем личном рейтинге разработчиков для Опенкарта Вы занимаете I место! СПАСИБО!

[Rassol2]

8 минут назад, lerand сказал:

 

Вам СПАСИБО. В моем личном рейтинге разработчиков для Опенкарта Вы занимаете I место! СПАСИБО!

Буду стараться что бы и дальше были только положительные отзывы о моей работе.
Спасибо.

[Daaj12]

Нужна помощь по настройки парсинга https://www.computeruniverse.net и вообще можно ли его спарсить

[Daaj12]

Ну а автору лично респект такой инструмент и за такие деньги ещё бы видосиков по больше что бы такие типа меня лишних вопросов не задавали )))

[Rassol2]

Да ребята кто может и хочет заниматься настройкой парсинга отзывайтесь, я так понимаю на платной основе.
Это и мне поможет высвободить больше времени, на теже видосики

[knyazkovstudios]

Добрый день! Имеется задача сделать обработку ссылок поставщика.

 

Хочу сделать CSV парсинг с необходимыми параметрами https://prnt.sc/rbz368

 

Вход к поставщику содержит пароль, поэтому я в модуле - настройках браузера указываю куки. Куки беру отсюда https://prnt.sc/rbz53o

 

Куки вроде работают https://prnt.sc/rbz5j1

 

Но на страничке "Настройки парсинга" в превью загружается страница, которую мы вводим в поле https://prnt.sc/rbzaz9

А сам код грузит страничку стартовую https://opt.brain.com.ua/

Без логина и пароля.

 

Вот что я имею ввиду
https://prnt.sc/rbz8ha

То есть страницы режима "кода" и "просмотра" отличаются.

P.S. Хочу сделать настройку https://prnt.sc/rbzbk9, но граница парсинга не срабатывает, скорее всего из-за разных страниц.

В чем может быть причина? Может куки не так ввожу?

[Rassol2]

28 минут назад, knyazkovstudios сказал:

Добрый день! Имеется задача сделать обработку ссылок поставщика.

 

Хочу сделать CSV парсинг с необходимыми параметрами https://prnt.sc/rbz368

 

Вход к поставщику содержит пароль, поэтому я в модуле - настройках браузера указываю куки. Куки беру отсюда https://prnt.sc/rbz53o

 

Куки вроде работают https://prnt.sc/rbz5j1

 

Но на страничке "Настройки парсинга" в превью загружается страница, которую мы вводим в поле https://prnt.sc/rbzaz9

А сам код грузит страничку стартовую https://opt.brain.com.ua/

Без логина и пароля.

 

Вот что я имею ввиду
https://prnt.sc/rbz8ha

То есть страницы режима "кода" и "просмотра" отличаются.

P.S. Хочу сделать настройку https://prnt.sc/rbzbk9, но граница парсинга не срабатывает, скорее всего из-за разных страниц.

В чем может быть причина? Может куки не так ввожу?

вы же понимаете что нужно прежде чем брать куки авторизоваться на сайте. И уже после того как авторизуетесь перейти на какую то страницу и посмотреть какие куки ваш браузер отправил на сайт донор.
И тогда брать.

Это раз и во вторых не забываем о кеше страницы если он включен.