Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

1 час назад, white130489 сказал:

есть пробная версия, чтобы понять стоит ли покупать?

Здравствуйте.
Да для этого есть демо сайт с установленным модулем

 

http://demo.simplepars.top/admin/

Логин - demo
Пароль - demo

Надіслати
Поділитися на інших сайтах

8 часов назад, white130489 сказал:

есть возможность загружать картинки и сразу добавлять на свой сайт?

Да конечно.

Надіслати
Поділитися на інших сайтах

Хочу порадовать всех кто хочет видеть CRON в модуле.
Приступил к тестированию так что ближайшие пару дней будет обновление и в модуле появится крон.

Правда из всего что я хотел реализовано только 50% но заложен фундамент для очень гибкой настройки крон.:eek:

  • +1 4
Надіслати
Поділитися на інших сайтах

9 минут назад, ilyer сказал:

Обновился и теперь при парсинге в csv файл кривая кодировка первых символов слова в каждой ячейке. что сделал не так?

Здравствуйте.
Скиньте прайс посмотрю. Но что бы первый символ в каждом слове, звучит загадочно.

  • +1 1
Надіслати
Поділитися на інших сайтах

Обновление 3.2_beta

Реализован планировщик задач CRON
qycki4Y.png

Теперь вы можете выполнять парсинг по расписанию.
А именно все то что вы делали до этого вручную теперь модуль может делать сам по расписанию.

Для того что бы настроить крон вам необходимо нажать на

Спойлер

frrYFmI.png


Обратите внимание что это только первая реализация крона, здесь сделана малая часть всего того что я хочу реализовать. Но уже сейчас это очень мощный инструмент.
Так же на данный момент не реализована возможность сбора ссылок по расписанию, это еше ждет нас в будущем ;-)
 

Для работы CRON вам необходимо настроить его на хостинге.
https://simplepars.top/index.php?page=note&note_id=27

Далее вы можете переходить к настройке планировщика заданий в модуле SimplePars
https://simplepars.top/index.php?page=note&note_id=26

 

Особенности реализации CRON в SimplePars

Вы можете добавлять сколько угодно заданий в планировщик.

 

У вас может быть настроено выполнение двух трех и более заданий по одному донору.

 

Отдельно настраиваются параметры

  1. Пауза парсинга
  2. Использования кеша
  3. Кол-во потоков

То есть вы можете парсить вручную в 5 потоков, а выполнение парсинга настроить по расписанию в один поток, и для этого вам ненужно будет перенастраивать сам проект.

 

Доступна информативная доска заданий

Спойлер

LQLg9ll.png


Где вы можете всегда проверить состояние задания, настройку времени или перейти к проекту нажав на его имя.

Для установки незабываем выполнить /inst.php

Ну что поздравляю всех вас с началом эпохи полной автоматизации обновления товаров, добавления товаров. И всего того что можно будет реализовать на базе планирование задач в SimplePars.

От себя добавлю мне это далось не просто, так что это ранняя версия которую пока не рекомендую использовать в боевых проектах, пока что только для тестирования.
Жду ваши отзывы!

  • +1 3
Надіслати
Поділитися на інших сайтах

8 часов назад, Kiyoshi сказал:

Ух оффлайн загрузчика под ехала на да пощупать.

Да! Подъехал крон, дальше тестем и развиваем его !

Надіслати
Поділитися на інших сайтах

погоняю крон чуть позже, но уже и по скринам виден грамотный подход к реализации функционала. спасибо.

на практике других модулей могу сказать, что в первую очередь надо протестить именно остановку работы крона, иначе при корявой настройке парсинга можно натворить дел...

В АОП тоже имеется крон и там есть дублирующий вариант остановки выполнения задания в виде возможности удаления файла sos, при удалении которого в любом случае модуль останавливает свою работу.

Не знаю, как тут реализовано, но дублирующий "ручной тормоз" не был бы лишним, т.к. модули при кроне запускаются отдельно в фоне и не всегда можно до них достучаться, запустив тот же модуль через вэб.

 

 

 

Надіслати
Поділитися на інших сайтах


погоняю крон чуть позже, но уже и по скринам виден грамотный подход к реализации функционала. спасибо.
на практике других модулей могу сказать, что в первую очередь надо протестить именно остановку работы крона, иначе при корявой настройке парсинга можно натворить дел...
В АОП тоже имеется крон и там есть дублирующий вариант остановки выполнения задания в виде возможности удаления файла sos, при удалении которого в любом случае модуль останавливает свою работу.
Не знаю, как тут реализовано, но дублирующий "ручной тормоз" не был бы лишним, т.к. модули при кроне запускаются отдельно в фоне и не всегда можно до них достучаться, запустив тот же модуль через вэб.
 
 
 
Здравствуйте. По ссылке на инструкцию можно прочесть что такой тормоз есть. Кнопка сверху выключить. И не нужно никуда лесть и удалить файлы. Просто нажмите ОТКЛЮЧИТЬ и все задания прекратят выполнятся.

Отправлено с моего Pixel через Tapatalk

  • +1 2
Надіслати
Поділитися на інших сайтах

38 минут назад, DPS сказал:

Здравствуйте.

Не подскажите:

есть значение "х777" (икс + число), как через "поиск/замену" отрезать букву и оставить только число...

Здравствуйте.

можно через регулярные выражения указав такое правило
{reg[#[^0-9]#]}|

Подробности про поиск замену можете узнать здесь
https://simplepars.top/index.php?page=note&note_id=9

Надіслати
Поділитися на інших сайтах

22 минуты назад, Zetx сказал:

Добрый день, скажите может ли работать этот модуль с каталогами доступными после ввода логина и пароля?

Здравствуйте.
Если вы имеете в виду может ли модуль парсить сайты с авторизацией то да модуль может.
Как парсить с авторизацией
https://simplepars.top/index.php?page=note&note_id=15

Надіслати
Поділитися на інших сайтах

Обновление 3.2-1_beta

Обновления первого дня :). Исправление недочетов.
Исправлено не правильное отображения статуса крона на главной странице.
 

Спойлер

t7mD1Rs.png

Спасибо за найденный недочет - @lerand

Вообще это отображение это временный костыль и будет переделано, сейчас реализовано так что бы быстрее сделать релиз с кроном.


Так же по просьбе @stas2010Добавил на все страницы в заголовок имя проекта с которым вы работаете.
 

Спойлер

qj4f8xL.png


Началась эпоха мелких но интересных обновлений, так что подписывайтесь и не пропускайте )

  • +1 1
Надіслати
Поділитися на інших сайтах

Как показала практика прошедших двух дней есть у людей сложности по настройке CRON на хостинге.
Так что оставлю здесь ссылки на инструкции по настройке крон на разных хостингах.

Сейчас только 4 популярных что чаше всего встречаются, но по мере запросов буду добавлять ссылки.

Ссылки буду добавлять на страницу инструкций.
https://simplepars.top/index.php?page=note&note_id=27

 

REG.RU
https://www.reg.ru/support/hosting-i-servery/yazyki-programmirovaniya-i-skripty/planirovschik-cron

 

beget.com
https://beget.com/ru/manual/crontab

 

timeweb.com
Не рекомендую читать эту инструкцию, луче прочтите с другого хостинга и сделайте аналогично. Они тут сильно усложняют высе.
https://timeweb.com/ru/help/pages/viewpage.action?pageId=4358482

 

ukraine.com.ua
https://wiki.ukraine.com.ua/hosting:cron:add

Надіслати
Поділитися на інших сайтах

1 час назад, Rassol2 сказал:

Спасибо за найденный недочет - @lerand

 

Вам СПАСИБО. В моем личном рейтинге разработчиков для Опенкарта Вы занимаете I место! СПАСИБО!

:rolleyes:

  • +1 1
Надіслати
Поділитися на інших сайтах


8 минут назад, lerand сказал:

 

Вам СПАСИБО. В моем личном рейтинге разработчиков для Опенкарта Вы занимаете I место! СПАСИБО!

:rolleyes:

Буду стараться что бы и дальше были только положительные отзывы о моей работе.
Спасибо.

  • +1 3
Надіслати
Поділитися на інших сайтах

Да ребята кто может и хочет заниматься настройкой парсинга отзывайтесь, я так понимаю на платной основе.
Это и мне поможет высвободить больше времени, на теже видосики :)

Надіслати
Поділитися на інших сайтах

Добрый день! Имеется задача сделать обработку ссылок поставщика.

 

Хочу сделать CSV парсинг с необходимыми параметрами https://prnt.sc/rbz368

 

Вход к поставщику содержит пароль, поэтому я в модуле - настройках браузера указываю куки. Куки беру отсюда https://prnt.sc/rbz53o

 

Куки вроде работают https://prnt.sc/rbz5j1

 

Но на страничке "Настройки парсинга" в превью загружается страница, которую мы вводим в поле https://prnt.sc/rbzaz9

А сам код грузит страничку стартовую https://opt.brain.com.ua/

Без логина и пароля.

 

Вот что я имею ввиду
https://prnt.sc/rbz8ha

То есть страницы режима "кода" и "просмотра" отличаются.

P.S. Хочу сделать настройку https://prnt.sc/rbzbk9, но граница парсинга не срабатывает, скорее всего из-за разных страниц.

В чем может быть причина? Может куки не так ввожу?

Надіслати
Поділитися на інших сайтах


28 минут назад, knyazkovstudios сказал:

Добрый день! Имеется задача сделать обработку ссылок поставщика.

 

Хочу сделать CSV парсинг с необходимыми параметрами https://prnt.sc/rbz368

 

Вход к поставщику содержит пароль, поэтому я в модуле - настройках браузера указываю куки. Куки беру отсюда https://prnt.sc/rbz53o

 

Куки вроде работают https://prnt.sc/rbz5j1

 

Но на страничке "Настройки парсинга" в превью загружается страница, которую мы вводим в поле https://prnt.sc/rbzaz9

А сам код грузит страничку стартовую https://opt.brain.com.ua/

Без логина и пароля.

 

Вот что я имею ввиду
https://prnt.sc/rbz8ha

То есть страницы режима "кода" и "просмотра" отличаются.

P.S. Хочу сделать настройку https://prnt.sc/rbzbk9, но граница парсинга не срабатывает, скорее всего из-за разных страниц.

В чем может быть причина? Может куки не так ввожу?

вы же понимаете что нужно прежде чем брать куки авторизоваться на сайте. И уже после того как авторизуетесь перейти на какую то страницу и посмотреть какие куки ваш браузер отправил на сайт донор.
И тогда брать.

Это раз и во вторых не забываем о кеше страницы если он включен.

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.