Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

SimplePars - Универсальный парсер для ИМ


SimplePars - Универсальный парсер для ИМ


Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 

 

Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.

Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную :wink:
sp.gif

 

Возможности модуля SimplePars
Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение или обновление товаров в интернет магазине.
Вы можете как парсить напрямую в интернет магазин, так и парсить в Excel таблицу для дальнейшей обработки. 

В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

- Полноценный парсер позволяющий парсить сайты и наполнять магазин товарами.
- Кроме загрузки возможно настройка обновления существующих товаров, цен, остатков и других элементов товара.

- Автоматическое создание категорий, производителей, атрибутов, опций, загрузка изображений и многое другое....

- Встроенный гибкий сборщик ссылок , который поможет собрать ссылки на необходимые товары.
- Возможно идентификация товара по разным значениям, подробнее об всех идентификаторах вы можете узнать здесь - Идентификаторы
- Доступна установка наценок любой сложности.
- Парсинг / Составление SEO шаблонов и заполнение Мета данных товара, категорий, производителей. Заполнение SEO_URL

- Формировать прайс csv с данными что вы парсите. Так же прайсы можно составлять в готовом формате для загрузки через АОП или любого другого загрузчика прайс листов. 
- Поиск замена, мощный инструмент позволяющий вам налету изменять информацию. То есть вы можете изменять информацию которую вы парсите на лету.
- Поиск замена полностью поддерживает регулярные выражения.
- Модуль способен парсить в многопоточном режиме. Что делает парсинг максимально быстрым!
- Возможность настроить запросы для обхода блокировок со стороны донора.
- Поддержка работы с прокси.
- Собственный прокси чекер, позволяющий отобрать прокси сервера которые будут работать с конкретным донором.
- Возможна индивидуальная настройка запросов, Указание Cookies, User-Agent, Отправка собственных заголовков Headers

- Система логирования позволяющая контролировать процесс парсинга на любом этапе.

- Система кэширования сайта донора для безопасного парсинга.

- Встроенный редактор ссылок, позволяющий группировать ссылки по спискам, и производить загрузку определенных групп ссылок. Так же отслеживать ссылки которые парсятся с ошибками.

- NEW Автоматический парсинг по расписанию, при помощи CRON
- NEW Встроенный редактор товаров. Редактор товаров поможет сделать финальную правку товаров. Инструкция к редактору товаров

- NEW Парсер XML/YML документов от поставщика.

- NEW Парсинг с автоматической авторизацией на сайте доноре. Инструкция по авторизации
- NEW Парсинг сайтов с изображениями в формате WEBP !!!! Подробнее

- NEW Расширение возможностей парсера собственными PHP скриптами Подробнее!!! :eek:

- NEW Парсинг файлов в товар. Теперь вы можете парсить инструкции к товару или лбые другие файлы с сайта донора. Подробнее!!! :eek:

 

Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.

SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.

Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.

 

SimplePars адаптирован под работ с модулями.

HYPER PRODUCT MODELS - NEW

AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 2

AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 3

HYPER MULTI PRODUCT MODELS - NEW

HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 2

HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 3

Цены в опция.

Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 2

Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 3

Изображение в опциях.
Опции с вводом количества, артикулом и изображением OC 2

Опции с вводом количества, артикулом и изображением OC 3

Изображения опций PRO

Закупочная цена товара.
CostPrice - закупочная цена товаров в opencart

 

И это малая часть тех задач которые может выполнить данный модуль.

SimplePars разрабатывается как универсальный парсер, у него нету четких задач, у него есть только набор инструментов.
А что вы построите имея эти инструменты зависит только от вас.

 

Полная инструкция к модулю доступна по ссылке

Инструкция к модулю SimplePars

 

Видео-уроки по работе с модулем доступны по ссылке

Видео уроки по работе с модулем SimplePars

 

Демо сайт для ознакомления с интерфейсом и возможностями модуля

Обратите внимание что на демо сайте парсинг недоступен.

http://demo.simplepars.top/admin/

Логин - demo
Пароль - demo

 

Лицензионное соглашение.
Ознакомится

 

Инструкция по установке.

Установка SimplePars

1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.

2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.

3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:

  • Разрешить просмотр
  • Разрешить редактировать

Затем нажмите сохранить.

4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 

5. После этого удалите в корне сайта файл inst.php

Все, модуль установлен.

В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 

 

Инструкция по обновлению
1. Загрузить содержимое директории c названием вашей версии  в корень сайта.

2. Выполнить ваш_сайт/inst.php

3. Удалить с корня сайта файл inst.php

 

После установки или обновления я вижу белый экран или ошибку 500

Если видите белый экран, то вам необходимо перейти в архив с модулем в директорию Other versions of PHP и там будут лежать файлы под все версии php.

Открываете папку с именем вашей версии php и загружаете содержимое в корень магазина.


  • Автор
  • долучення
    28.10.18
  • Категорія
  • Системные требования
    PHP >= 5.6
  • Метод активации
    По запросу в ЛС
  • Ioncube Loader
    Требуется
  • ocStore
    3.0
    2.3.0.2.4
    2.3
    2.2
    2.1
  • OpenCart.Pro, ocShop
    Opencart.pro 2.3
    Opencart.pro 2.1
    OcShop 2.0.3.х
  • Звернення до сервера розробника
    Да

 

  • +1 18
Ссылка на комментарий
Поделиться на других сайтах

4 часа назад, PiratRu сказал:

Это случаем не CD-шный метод?

Вдохновлялся им. И может попримеру него ещё что то прикручу. Все зависит от людей будет нужно или нет. 

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах

Написал мини инструкцию. Больше не хочу заниматься такой муторной работой, и да сразу извиняюсь я неграмотно пишу кому режет глаз удалите и все )
Проверьте открывается в Microsoft Word а то  у меня нету и проверить не могу. 

Ссылка на комментарий
Поделиться на других сайтах

30 минут назад, rozario888 сказал:

нет, проблема осталась, HTTP ERROR 500

точнее. Что за проблема ? 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

6 минут назад, Rassol2 сказал:

точнее. Что за проблема ? 

При заходе в модуль выдает пустую страницу с этой ошибкой. И файла inst не было в корне. 

Может удалить все файлы и по новой попробовать 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


В 05.11.2018 в 11:17, rozario888 сказал:

При заходе в модуль выдает пустую страницу с этой ошибкой. И файла inst не было в корне. 

Может удалить все файлы и по новой попробовать 

в архиве есть. 
Залейте все по верх с заменой.

 

PS.

не могу удалить этот скриншот. Какой то косяк на форуме.
 

Спойлер

1748632287__7.png.bf69028e00afa8e94be7b08fa74c39e4.png

 

Ссылка на комментарий
Поделиться на других сайтах

Разобрался. Мой косяк был. Сначала финиш пропустил, а после не обратил внимание, что инст копируется, а не создается после установки))

Буду тестировать

Ссылка на комментарий
Поделиться на других сайтах


1 час назад, rozario888 сказал:

Разобрался. Мой косяк был. Сначала финиш пропустил, а после не обратил внимание, что инст копируется, а не создается после установки))

Буду тестировать

Тестируйте ) Удачки. 

Ссылка на комментарий
Поделиться на других сайтах

А прокатит такой вариант, если я в целевую категорию зайду, сделаю отбор по фильтрам и сгенерированую ссылку скормлю модулю на сбор ссылок на сами товары?

Типа вот так http://prntscr.com/lelzbd и вот так http://prntscr.com/lelz2b

 

У меня пока ничего не :D

Ссылка на комментарий
Поделиться на других сайтах


10 минут назад, rozario888 сказал:

А прокатит такой вариант, если я в целевую категорию зайду, сделаю отбор по фильтрам и сгенерированую ссылку скормлю модулю на сбор ссылок на сами товары?

Типа вот так http://prntscr.com/lelzbd и вот так http://prntscr.com/lelz2b

 

У меня пока ничего не

да можете только тогда в фильтр ссылки очереди нужно добавить такие параметры что бы брались только другие страницы этого фильтра. 
 

Изменено пользователем Rassol2
Ссылка на комментарий
Поделиться на других сайтах

27 минут назад, Rassol2 сказал:

в фильтр ссылки очереди нужно добавить такие параметры что бы брались только другие страницы этого фильтра

По инструкции, если правильно до меня дошло, я зашел в товар и оттуда в очередь вставил вот эту часть image.png.5cf89c28f91b443c09ddc2c936883e40.png ?

Т.е. модуль перешел по ссылку в отфильтрованную по брендам категорию и забрал из нее все ссылки с этим значением?!

Ссылка на комментарий
Поделиться на других сайтах


Только что, rozario888 сказал:

В выдаче ссылок есть куча ссылок, но не тех:mrgreen: Че то все таки до меня дошло, но не то

После неудачного фильтра ссылок не забывайте очистить список. 

если вам нужно собрать с одной страницы все ссылки с значением /item/ тогда вам нужно сделать так что бы модуль не добавлял в очередь другие ссылки с сайта. 
И в фильтр выдачи задать вот это /item/

http://joxi.ru/MAjyJ7wt49O4L2
1. Ссылка на страницу с которой ходите собрать все ссылки с  /item/

2. Фильтр для добавления ссылок в очередь, ставите там что то чего точно не будет в ссылках. К пример Rassol2

3. Записывать какой элемент должен содержатся в ссылке что бы попасть в выдачу. 

В итоге вы получите все ссылки что имеют  /item/ с страницы которая записана в поле 1

как то так. 

Ссылка на комментарий
Поделиться на других сайтах

Вроде получилось, собрались только нужные товары. Но только с первой страницы из трех.

Чтобы он по всем прошелся, надо в очередь сканирования ссылок добавить ссылку каждой страницы? Или какая то другая схема есть

 

Ссылка на комментарий
Поделиться на других сайтах


Только что, rozario888 сказал:

Вроде получилось, собрались только нужные товары. Но только с первой страницы из трех.

Чтобы он по всем прошелся, надо в очередь сканирования ссылок добавить ссылку каждой страницы? Или какая то другая схема есть

 

либо вручную добавить. Либо настроить фильтры что бы парсер сам добавил в очередь нужные вам ссылки. 
дальше как хотите )

Ссылка на комментарий
Поделиться на других сайтах

48 минут назад, Rassol2 сказал:

Либо настроить фильтры что бы парсер сам добавил в очередь нужные вам ссылки.

 

Вот часть ссылки второй страницы ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=2

Или часть стартовой ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=1

 

Как фильтр должен выглядеть в блоке шаблон ссылок очереди? Я че то уже как только не пробовал, пока эта схема ко мне не снизошла и парсится только первая страница))  

 

 

Ссылка на комментарий
Поделиться на других сайтах


27 минут назад, rozario888 сказал:

 

Вот часть ссылки второй страницы ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=2

Или часть стартовой ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=1

 

Как фильтр должен выглядеть в блоке шаблон ссылок очереди? Я че то уже как только не пробовал, пока эта схема ко мне не снизошла и парсится только первая страница))  

 

 

как я понимаю вот это первая страница p=1 а вот это вторая p=2
значит шаблон очереди должен содержать &p=

 

Ссылка на комментарий
Поделиться на других сайтах

Так по просьбе дописал функцию. 

Повторное применение фильтров к ссылкам. 
Допустим вы настроили парсинг ссылок и просканировали 1000 страниц. И после этого поняли что не все добавили в фильтры. 
Раньше вам нужно было удалить все ссылки добавить новые фильтры и заново сканировать. 

Теперь вы можете нажать кнопку Повторить фильтрацию.
489807753__2018-11-06_06-27-30.thumb.png.6693300a4e8356972c63fd4c46ea9f1a.png

Допусти вы забыли в параметры парсинга выдачи ссылок добавить .html 
Дописываете в поле Шаблон выдачи ссылок .html сохраняете форму. После жмете Повторить фильтрацию
1379826450__2018-11-06_06-33-07.thumb.png.a680f9e35a074a6ee12c650ad3c9081a.pngМодуль возьмет из списка собранных ссылок все ссылки и снова прогонит по фильтрам и отсеет те что не соответствуют фильтрам. 
 

Изменено пользователем Rassol2
  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

17 часов назад, Rassol2 сказал:

как я понимаю вот это первая страница p=1 а вот это вторая p=2
значит шаблон очереди должен содержать &p=

 

Пробовал http://prntscr.com/lexsyw , пробовал &p=2, &p=3....и 944&&p=2 и 944&&p=2, но все равно только на выходе только товары с первой страницы

Ссылка на комментарий
Поделиться на других сайтах


3 минуты назад, rozario888 сказал:

Пробовал http://prntscr.com/lexsyw , пробовал &p=2, &p=3....и 944&&p=2 и 944&&p=2, но все равно только на выходе только товары с первой страницы

у вас стоит галочка Или/И уберите ее. 
А вообще ясно ее значение ? 
1457372501__2018-11-06_11-25-16.png.ba07549e39751940fe4b029f305ecfca.png

Изменено пользователем Rassol2
Ссылка на комментарий
Поделиться на других сайтах

6 минут назад, Rassol2 сказал:

А вообще ясно ее значение ? 

Значение ее ясно, она осталось от одной из проб, потому что и без с нее и с ней, все равно только товары с первой страницы.

Я уже как только не пробовал и какие только варианты части ссылки не добавлял в фильтр

Ссылка на комментарий
Поделиться на других сайтах


Только что, rozario888 сказал:

Значение ее ясно, она осталось от одной из проб, потому что и без с нее и с ней, все равно только товары с первой страницы.

Я уже как только не пробовал и какие только варианты части ссылки не добавлял в фильтр

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно будет сделать обмен настройками ))

Ссылка на комментарий
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.