Jump to content
Search In
  • More options...
Find results that contain...
Find results in...

Recommended Posts

SimplePars - Универсальный парсер для ИМ


SimplePars - Универсальный парсер для ИМ


Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 

 

Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.

Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную :wink:
sp.gif

 

Возможности модуля SimplePars
Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение или обновление товаров в интернет магазине.
Вы можете как парсить напрямую в интернет магазин, так и парсить в Excel таблицу для дальнейшей обработки. 

В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

- Полноценный парсер позволяющий парсить сайты и наполнять магазин товарами.
- Кроме загрузки возможно настройка обновления существующих товаров, цен, остатков и других элементов товара.

- Автоматическое создание категорий, производителей, атрибутов, опций, загрузка изображений и многое другое....

- Встроенный гибкий сборщик ссылок , который поможет собрать ссылки на необходимые товары.
- Возможно идентификация товара по разным значениям, подробнее об всех идентификаторах вы можете узнать здесь - Идентификаторы
- Доступна установка наценок любой сложности.
- Парсинг / Составление SEO шаблонов и заполнение Мета данных товара, категорий, производителей. Заполнение SEO_URL

- Формировать прайс csv с данными что вы парсите. Так же прайсы можно составлять в готовом формате для загрузки через АОП или любого другого загрузчика прайс листов. 
- Поиск замена, мощный инструмент позволяющий вам налету изменять информацию. То есть вы можете изменять информацию которую вы парсите на лету.
- Поиск замена полностью поддерживает регулярные выражения.
- Модуль способен парсить в многопоточном режиме. Что делает парсинг максимально быстрым!
- Возможность настроить запросы для обхода блокировок со стороны донора.
- Поддержка работы с прокси.
- Собственный прокси чекер, позволяющий отобрать прокси сервера которые будут работать с конкретным донором.
- Возможна индивидуальная настройка запросов, Указание Cookies, User-Agent, Отправка собственных заголовков Headers

- Система логирования позволяющая контролировать процесс парсинга на любом этапе.

- Система кэширования сайта донора для безопасного парсинга.

- Встроенный редактор ссылок, позволяющий группировать ссылки по спискам, и производить загрузку определенных групп ссылок. Так же отслеживать ссылки которые парсятся с ошибками.

- NEW Автоматический парсинг по расписанию, при помощи CRON
- NEW Встроенный редактор товаров. Редактор товаров поможет сделать финальную правку товаров. Инструкция к редактору товаров

- NEW Парсер XML/YML документов от поставщика.

- NEW Парсинг с автоматической авторизацией на сайте доноре. Инструкция по авторизации
- NEW Парсинг сайтов с изображениями в формате WEBP !!!! Подробнее

- NEW Расширение возможностей парсера собственными PHP скриптами Подробнее!!! :eek:

 

Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.

SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.

Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.

 

SimplePars адаптирован под работ с модулями.

HYPER PRODUCT MODELS - NEW

AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 2

AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 3

HYPER MULTI PRODUCT MODELS - NEW

HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 2

HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 3

Цены в опция.

Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 2

Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 3

Изображение в опциях.
Опции с вводом количества, артикулом и изображением OC 2

Опции с вводом количества, артикулом и изображением OC 3

Изображения опций PRO

Закупочная цена товара.
CostPrice - закупочная цена товаров в opencart

 

И это малая часть тех задач которые может выполнить данный модуль.

SimplePars разрабатывается как универсальный парсер, у него нету четких задач, у него есть только набор инструментов.
А что вы построите имея эти инструменты зависит только от вас.

 

Полная инструкция к модулю доступна по ссылке

Инструкция к модулю SimplePars

 

Видео-уроки по работе с модулем доступны по ссылке

Видео уроки по работе с модулем SimplePars

 

Демо сайт для ознакомления с интерфейсом и возможностями модуля

Обратите внимание что на демо сайте парсинг недоступен.

http://demo.simplepars.top/admin/

Логин - demo
Пароль - demo

 

Лицензионное соглашение.
Ознакомится

 

Инструкция по установке.

Установка SimplePars

1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.

2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.

3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:

  • Разрешить просмотр
  • Разрешить редактировать

Затем нажмите сохранить.

4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 

5. После этого удалите в корне сайта файл inst.php

Все, модуль установлен.

В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 

 

Инструкция по обновлению
1. Загрузить содержимое директории c названием вашей версии  в корень сайта.

2. Выполнить ваш_сайт/inst.php

3. Удалить с корня сайта файл inst.php

 

После установки или обновления я вижу белый экран или ошибку 500

Если видите белый экран, то вам необходимо перейти в архив с модулем в директорию Other versions of PHP и там будут лежать файлы под все версии php.

Открываете папку с именем вашей версии php и загружаете содержимое в корень магазина.


  • Автор
  • долучення
    28.10.18
  • Категорія
  • Системные требования
    PHP >= 5.6
  • Метод активации
    По запросу в ЛС
  • Ioncube Loader
    Требуется
  • ocStore
    3.0
    2.3.0.2.4
    2.3
    2.2
    2.1
  • OpenCart.Pro, ocShop
    Opencart.pro 2.3
    Opencart.pro 2.1
    OcShop 2.0.3.х
  • Звернення до сервера розробника
    Да

 

  • +1 18
Link to comment
Share on other sites

4 часа назад, PiratRu сказал:

Это случаем не CD-шный метод?

Вдохновлялся им. И может попримеру него ещё что то прикручу. Все зависит от людей будет нужно или нет. 

  • +1 2
Link to comment
Share on other sites

Написал мини инструкцию. Больше не хочу заниматься такой муторной работой, и да сразу извиняюсь я неграмотно пишу кому режет глаз удалите и все )
Проверьте открывается в Microsoft Word а то  у меня нету и проверить не могу. 

Link to comment
Share on other sites

6 минут назад, Rassol2 сказал:

точнее. Что за проблема ? 

При заходе в модуль выдает пустую страницу с этой ошибкой. И файла inst не было в корне. 

Может удалить все файлы и по новой попробовать 

  • +1 1
Link to comment
Share on other sites


В 05.11.2018 в 11:17, rozario888 сказал:

При заходе в модуль выдает пустую страницу с этой ошибкой. И файла inst не было в корне. 

Может удалить все файлы и по новой попробовать 

в архиве есть. 
Залейте все по верх с заменой.

 

PS.

не могу удалить этот скриншот. Какой то косяк на форуме.
 

Спойлер

1748632287__7.png.bf69028e00afa8e94be7b08fa74c39e4.png

 

Link to comment
Share on other sites

Разобрался. Мой косяк был. Сначала финиш пропустил, а после не обратил внимание, что инст копируется, а не создается после установки))

Буду тестировать

Link to comment
Share on other sites


1 час назад, rozario888 сказал:

Разобрался. Мой косяк был. Сначала финиш пропустил, а после не обратил внимание, что инст копируется, а не создается после установки))

Буду тестировать

Тестируйте ) Удачки. 

Link to comment
Share on other sites

А прокатит такой вариант, если я в целевую категорию зайду, сделаю отбор по фильтрам и сгенерированую ссылку скормлю модулю на сбор ссылок на сами товары?

Типа вот так http://prntscr.com/lelzbd и вот так http://prntscr.com/lelz2b

 

У меня пока ничего не :D

Link to comment
Share on other sites


10 минут назад, rozario888 сказал:

А прокатит такой вариант, если я в целевую категорию зайду, сделаю отбор по фильтрам и сгенерированую ссылку скормлю модулю на сбор ссылок на сами товары?

Типа вот так http://prntscr.com/lelzbd и вот так http://prntscr.com/lelz2b

 

У меня пока ничего не

да можете только тогда в фильтр ссылки очереди нужно добавить такие параметры что бы брались только другие страницы этого фильтра. 
 

Edited by Rassol2
Link to comment
Share on other sites

27 минут назад, Rassol2 сказал:

в фильтр ссылки очереди нужно добавить такие параметры что бы брались только другие страницы этого фильтра

По инструкции, если правильно до меня дошло, я зашел в товар и оттуда в очередь вставил вот эту часть image.png.5cf89c28f91b443c09ddc2c936883e40.png ?

Т.е. модуль перешел по ссылку в отфильтрованную по брендам категорию и забрал из нее все ссылки с этим значением?!

Link to comment
Share on other sites


Только что, rozario888 сказал:

В выдаче ссылок есть куча ссылок, но не тех:mrgreen: Че то все таки до меня дошло, но не то

После неудачного фильтра ссылок не забывайте очистить список. 

если вам нужно собрать с одной страницы все ссылки с значением /item/ тогда вам нужно сделать так что бы модуль не добавлял в очередь другие ссылки с сайта. 
И в фильтр выдачи задать вот это /item/

http://joxi.ru/MAjyJ7wt49O4L2
1. Ссылка на страницу с которой ходите собрать все ссылки с  /item/

2. Фильтр для добавления ссылок в очередь, ставите там что то чего точно не будет в ссылках. К пример Rassol2

3. Записывать какой элемент должен содержатся в ссылке что бы попасть в выдачу. 

В итоге вы получите все ссылки что имеют  /item/ с страницы которая записана в поле 1

как то так. 

Link to comment
Share on other sites

Вроде получилось, собрались только нужные товары. Но только с первой страницы из трех.

Чтобы он по всем прошелся, надо в очередь сканирования ссылок добавить ссылку каждой страницы? Или какая то другая схема есть

 

Link to comment
Share on other sites


Только что, rozario888 сказал:

Вроде получилось, собрались только нужные товары. Но только с первой страницы из трех.

Чтобы он по всем прошелся, надо в очередь сканирования ссылок добавить ссылку каждой страницы? Или какая то другая схема есть

 

либо вручную добавить. Либо настроить фильтры что бы парсер сам добавил в очередь нужные вам ссылки. 
дальше как хотите )

Link to comment
Share on other sites

48 минут назад, Rassol2 сказал:

Либо настроить фильтры что бы парсер сам добавил в очередь нужные вам ссылки.

 

Вот часть ссылки второй страницы ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=2

Или часть стартовой ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=1

 

Как фильтр должен выглядеть в блоке шаблон ссылок очереди? Я че то уже как только не пробовал, пока эта схема ко мне не снизошла и парсится только первая страница))  

 

 

Link to comment
Share on other sites


27 минут назад, rozario888 сказал:

 

Вот часть ссылки второй страницы ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=2

Или часть стартовой ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=1

 

Как фильтр должен выглядеть в блоке шаблон ссылок очереди? Я че то уже как только не пробовал, пока эта схема ко мне не снизошла и парсится только первая страница))  

 

 

как я понимаю вот это первая страница p=1 а вот это вторая p=2
значит шаблон очереди должен содержать &p=

 

Link to comment
Share on other sites

Так по просьбе дописал функцию. 

Повторное применение фильтров к ссылкам. 
Допустим вы настроили парсинг ссылок и просканировали 1000 страниц. И после этого поняли что не все добавили в фильтры. 
Раньше вам нужно было удалить все ссылки добавить новые фильтры и заново сканировать. 

Теперь вы можете нажать кнопку Повторить фильтрацию.
489807753__2018-11-06_06-27-30.thumb.png.6693300a4e8356972c63fd4c46ea9f1a.png

Допусти вы забыли в параметры парсинга выдачи ссылок добавить .html 
Дописываете в поле Шаблон выдачи ссылок .html сохраняете форму. После жмете Повторить фильтрацию
1379826450__2018-11-06_06-33-07.thumb.png.a680f9e35a074a6ee12c650ad3c9081a.pngМодуль возьмет из списка собранных ссылок все ссылки и снова прогонит по фильтрам и отсеет те что не соответствуют фильтрам. 
 

Edited by Rassol2
  • +1 1
Link to comment
Share on other sites

17 часов назад, Rassol2 сказал:

как я понимаю вот это первая страница p=1 а вот это вторая p=2
значит шаблон очереди должен содержать &p=

 

Пробовал http://prntscr.com/lexsyw , пробовал &p=2, &p=3....и 944&&p=2 и 944&&p=2, но все равно только на выходе только товары с первой страницы

Link to comment
Share on other sites


3 минуты назад, rozario888 сказал:

Пробовал http://prntscr.com/lexsyw , пробовал &p=2, &p=3....и 944&&p=2 и 944&&p=2, но все равно только на выходе только товары с первой страницы

у вас стоит галочка Или/И уберите ее. 
А вообще ясно ее значение ? 
1457372501__2018-11-06_11-25-16.png.ba07549e39751940fe4b029f305ecfca.png

Edited by Rassol2
Link to comment
Share on other sites

6 минут назад, Rassol2 сказал:

А вообще ясно ее значение ? 

Значение ее ясно, она осталось от одной из проб, потому что и без с нее и с ней, все равно только товары с первой страницы.

Я уже как только не пробовал и какие только варианты части ссылки не добавлял в фильтр

Link to comment
Share on other sites


Только что, rozario888 сказал:

Значение ее ясно, она осталось от одной из проб, потому что и без с нее и с ней, все равно только товары с первой страницы.

Я уже как только не пробовал и какие только варианты части ссылки не добавлял в фильтр

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно будет сделать обмен настройками ))

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.