[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

32
Завантажити / Придбати розширення

SimplePars - Универсальный парсер для ИМ

---

Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 

 

Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.

Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

 

Возможности модуля SimplePars
Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение или обновление товаров в интернет магазине.
Вы можете как парсить напрямую в интернет магазин, так и парсить в Excel таблицу для дальнейшей обработки. 

В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

- Полноценный парсер позволяющий парсить сайты и наполнять магазин товарами.
- Кроме загрузки возможно настройка обновления существующих товаров, цен, остатков и других элементов товара.

- Автоматическое создание категорий, производителей, атрибутов, опций, загрузка изображений и многое другое....

- Встроенный гибкий сборщик ссылок , который поможет собрать ссылки на необходимые товары.
- Возможно идентификация товара по разным значениям, подробнее об всех идентификаторах вы можете узнать здесь - Идентификаторы
- Доступна установка наценок любой сложности.
- Парсинг / Составление SEO шаблонов и заполнение Мета данных товара, категорий, производителей. Заполнение SEO_URL

- Формировать прайс csv с данными что вы парсите. Так же прайсы можно составлять в готовом формате для загрузки через АОП или любого другого загрузчика прайс листов. 
- Поиск замена, мощный инструмент позволяющий вам налету изменять информацию. То есть вы можете изменять информацию которую вы парсите на лету.
- Поиск замена полностью поддерживает регулярные выражения.
- Модуль способен парсить в многопоточном режиме. Что делает парсинг максимально быстрым!
- Возможность настроить запросы для обхода блокировок со стороны донора.
- Поддержка работы с прокси.
- Собственный прокси чекер, позволяющий отобрать прокси сервера которые будут работать с конкретным донором.
- Возможна индивидуальная настройка запросов, Указание Cookies, User-Agent, Отправка собственных заголовков Headers

- Система логирования позволяющая контролировать процесс парсинга на любом этапе.

- Система кэширования сайта донора для безопасного парсинга.

- Встроенный редактор ссылок, позволяющий группировать ссылки по спискам, и производить загрузку определенных групп ссылок. Так же отслеживать ссылки которые парсятся с ошибками.

- NEW Автоматический парсинг по расписанию, при помощи CRON
- NEW Встроенный редактор товаров. Редактор товаров поможет сделать финальную правку товаров. Инструкция к редактору товаров

- NEW Парсер XML/YML документов от поставщика.

- NEW Парсинг с автоматической авторизацией на сайте доноре. Инструкция по авторизации
- NEW Парсинг сайтов с изображениями в формате WEBP !!!! Подробнее

- NEW Расширение возможностей парсера собственными PHP скриптами Подробнее!!!

- NEW Парсинг файлов в товар. Теперь вы можете парсить инструкции к товару или лбые другие файлы с сайта донора. Подробнее!!! 

 

Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.

SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.

Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.

 

SimplePars адаптирован под работ с модулями.

HYPER PRODUCT MODELS - NEW

AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 2

AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 3

HYPER MULTI PRODUCT MODELS - NEW

HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 2

HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 3

Цены в опция.

Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 2

Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 3

Изображение в опциях.
Опции с вводом количества, артикулом и изображением OC 2

Опции с вводом количества, артикулом и изображением OC 3

Изображения опций PRO

Закупочная цена товара.
CostPrice - закупочная цена товаров в opencart

 

И это малая часть тех задач которые может выполнить данный модуль.

SimplePars разрабатывается как универсальный парсер, у него нету четких задач, у него есть только набор инструментов.
А что вы построите имея эти инструменты зависит только от вас.

 

Полная инструкция к модулю доступна по ссылке

Инструкция к модулю SimplePars

 

Видео-уроки по работе с модулем доступны по ссылке

Видео уроки по работе с модулем SimplePars

 

Демо сайт для ознакомления с интерфейсом и возможностями модуля

Обратите внимание что на демо сайте парсинг недоступен.

http://demo.simplepars.top/admin/

Логин - demo
Пароль - demo

 

Лицензионное соглашение.
Ознакомится

 

Инструкция по установке.

Установка SimplePars

1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.

2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.

3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:

• Разрешить просмотр
• Разрешить редактировать

Затем нажмите сохранить.

4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 

5. После этого удалите в корне сайта файл inst.php

Все, модуль установлен.

В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 

 

Инструкция по обновлению
1. Загрузить содержимое директории c названием вашей версии  в корень сайта.

2. Выполнить ваш_сайт/inst.php

3. Удалить с корня сайта файл inst.php

 

После установки или обновления я вижу белый экран или ошибку 500

Если видите белый экран, то вам необходимо перейти в архив с модулем в директорию Other versions of PHP и там будут лежать файлы под все версии php.

Открываете папку с именем вашей версии php и загружаете содержимое в корень магазина.

---

• Автор
  Rassol2
• долучення
  28.10.18
• Категорія
  Парсеры
• Системные требования
  PHP >= 5.6
• Метод активации
  По запросу в ЛС
• Ioncube Loader
  Требуется
• ocStore
  3.0
  2.3.0.2.4
  2.3
  2.2
  2.1
• OpenCart.Pro, ocShop
  Opencart.pro 2.3
  Opencart.pro 2.1
  OcShop 2.0.3.х
• Звернення до сервера розробника
  Да

 

[Rassol2]

Ну что займу первый пост.
Поскольку модуль все же выложил ушел писать инструкцию к этому франкенштейну. Может кому то пригодится 

PS. Чуть не забыл. Кому пригодился нажмите палец верх 

Змінено 1 листопада 2018 користувачем Rassol2

[PiratRu]

Это случаем не CD-шный метод?

[Rassol2]

4 часа назад, PiratRu сказал:

Это случаем не CD-шный метод?

Вдохновлялся им. И может попримеру него ещё что то прикручу. Все зависит от людей будет нужно или нет. 

[Rassol2]

Написал мини инструкцию. Больше не хочу заниматься такой муторной работой, и да сразу извиняюсь я неграмотно пишу кому режет глаз удалите и все )
Проверьте открывается в Microsoft Word а то  у меня нету и проверить не могу. 

[rozario888]

нет, проблема осталась, HTTP ERROR 500

Змінено 5 листопада 2018 користувачем rozario888

[Rassol2]

30 минут назад, rozario888 сказал:

нет, проблема осталась, HTTP ERROR 500

точнее. Что за проблема ? 

[rozario888]

6 минут назад, Rassol2 сказал:

точнее. Что за проблема ? 

При заходе в модуль выдает пустую страницу с этой ошибкой. И файла inst не было в корне. 

Может удалить все файлы и по новой попробовать 

[Rassol2]

В 05.11.2018 в 11:17, rozario888 сказал:

При заходе в модуль выдает пустую страницу с этой ошибкой. И файла inst не было в корне. 

Может удалить все файлы и по новой попробовать 

в архиве есть. 
Залейте все по верх с заменой.

 

PS.

не могу удалить этот скриншот. Какой то косяк на форуме.
 

Спойлер

 

[rozario888]

Разобрался. Мой косяк был. Сначала финиш пропустил, а после не обратил внимание, что инст копируется, а не создается после установки))

Буду тестировать

[Rassol2]

1 час назад, rozario888 сказал:

Разобрался. Мой косяк был. Сначала финиш пропустил, а после не обратил внимание, что инст копируется, а не создается после установки))

Буду тестировать

Тестируйте ) Удачки. 

[rozario888]

А прокатит такой вариант, если я в целевую категорию зайду, сделаю отбор по фильтрам и сгенерированую ссылку скормлю модулю на сбор ссылок на сами товары?

Типа вот так http://prntscr.com/lelzbd и вот так http://prntscr.com/lelz2b

 

У меня пока ничего не

[Rassol2]

10 минут назад, rozario888 сказал:

А прокатит такой вариант, если я в целевую категорию зайду, сделаю отбор по фильтрам и сгенерированую ссылку скормлю модулю на сбор ссылок на сами товары?

Типа вот так http://prntscr.com/lelzbd и вот так http://prntscr.com/lelz2b

 

У меня пока ничего не

да можете только тогда в фильтр ссылки очереди нужно добавить такие параметры что бы брались только другие страницы этого фильтра. 
 

Змінено 5 листопада 2018 користувачем Rassol2

[rozario888]

27 минут назад, Rassol2 сказал:

в фильтр ссылки очереди нужно добавить такие параметры что бы брались только другие страницы этого фильтра

По инструкции, если правильно до меня дошло, я зашел в товар и оттуда в очередь вставил вот эту часть  ?

Т.е. модуль перешел по ссылку в отфильтрованную по брендам категорию и забрал из нее все ссылки с этим значением?!

[rozario888]

В выдаче ссылок есть куча ссылок, но не тех Че то все таки до меня дошло, но не то

[Rassol2]

Только что, rozario888 сказал:

В выдаче ссылок есть куча ссылок, но не тех Че то все таки до меня дошло, но не то

После неудачного фильтра ссылок не забывайте очистить список. 

если вам нужно собрать с одной страницы все ссылки с значением /item/ тогда вам нужно сделать так что бы модуль не добавлял в очередь другие ссылки с сайта. 
И в фильтр выдачи задать вот это /item/

http://joxi.ru/MAjyJ7wt49O4L2
1. Ссылка на страницу с которой ходите собрать все ссылки с  /item/

2. Фильтр для добавления ссылок в очередь, ставите там что то чего точно не будет в ссылках. К пример Rassol2

3. Записывать какой элемент должен содержатся в ссылке что бы попасть в выдачу. 

В итоге вы получите все ссылки что имеют  /item/ с страницы которая записана в поле 1

как то так. 

[rozario888]

Вроде получилось, собрались только нужные товары. Но только с первой страницы из трех.

Чтобы он по всем прошелся, надо в очередь сканирования ссылок добавить ссылку каждой страницы? Или какая то другая схема есть

 

[Rassol2]

Только что, rozario888 сказал:

Вроде получилось, собрались только нужные товары. Но только с первой страницы из трех.

Чтобы он по всем прошелся, надо в очередь сканирования ссылок добавить ссылку каждой страницы? Или какая то другая схема есть

 

либо вручную добавить. Либо настроить фильтры что бы парсер сам добавил в очередь нужные вам ссылки. 
дальше как хотите )

[rozario888]

48 минут назад, Rassol2 сказал:

Либо настроить фильтры что бы парсер сам добавил в очередь нужные вам ссылки.

 

Вот часть ссылки второй страницы ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=2

Или часть стартовой ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=1

 

Как фильтр должен выглядеть в блоке шаблон ссылок очереди? Я че то уже как только не пробовал, пока эта схема ко мне не снизошла и парсится только первая страница))  

 

 

[Rassol2]

27 минут назад, rozario888 сказал:

 

Вот часть ссылки второй страницы ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=2

Или часть стартовой ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=1

 

Как фильтр должен выглядеть в блоке шаблон ссылок очереди? Я че то уже как только не пробовал, пока эта схема ко мне не снизошла и парсится только первая страница))  

 

 

как я понимаю вот это первая страница p=1 а вот это вторая p=2
значит шаблон очереди должен содержать &p=
 

[Rassol2]

Так по просьбе дописал функцию. 

Повторное применение фильтров к ссылкам. 
Допустим вы настроили парсинг ссылок и просканировали 1000 страниц. И после этого поняли что не все добавили в фильтры. 
Раньше вам нужно было удалить все ссылки добавить новые фильтры и заново сканировать. 

Теперь вы можете нажать кнопку Повторить фильтрацию.


Допусти вы забыли в параметры парсинга выдачи ссылок добавить .html 
Дописываете в поле Шаблон выдачи ссылок .html сохраняете форму. После жмете Повторить фильтрацию
Модуль возьмет из списка собранных ссылок все ссылки и снова прогонит по фильтрам и отсеет те что не соответствуют фильтрам. 
 

Змінено 6 листопада 2018 користувачем Rassol2

[rozario888]

17 часов назад, Rassol2 сказал:

как я понимаю вот это первая страница p=1 а вот это вторая p=2
значит шаблон очереди должен содержать &p=
 

Пробовал http://prntscr.com/lexsyw , пробовал &p=2, &p=3....и 944&&p=2 и 944&&p=2, но все равно только на выходе только товары с первой страницы

[Rassol2]

3 минуты назад, rozario888 сказал:

Пробовал http://prntscr.com/lexsyw , пробовал &p=2, &p=3....и 944&&p=2 и 944&&p=2, но все равно только на выходе только товары с первой страницы

у вас стоит галочка Или/И уберите ее. 
А вообще ясно ее значение ? 

Змінено 6 листопада 2018 користувачем Rassol2

[rozario888]

6 минут назад, Rassol2 сказал:

А вообще ясно ее значение ? 

Значение ее ясно, она осталось от одной из проб, потому что и без с нее и с ней, все равно только товары с первой страницы.

Я уже как только не пробовал и какие только варианты части ссылки не добавлял в фильтр

[Rassol2]

Только что, rozario888 сказал:

Значение ее ясно, она осталось от одной из проб, потому что и без с нее и с ней, все равно только товары с первой страницы.

Я уже как только не пробовал и какие только варианты части ссылки не добавлял в фильтр

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно будет сделать обмен настройками ))