[Поддержка] SimplePars - Универсальный парсер для ИМ

[Ptenec]

было бы круто если бы добавили ипорт экспорт настроек

[Rassol2]

3 часа назад, maxtop84 сказал:

Всём привет!!!

Установилось всё гуд!

но при вылазит:

Fatal error: Uncaught Exception: Error: Table 'pechivam_new.oc_simplepars' doesn't exist
Error No: 1146

 

oc_simplepars таблицы в базе нет, может кто дамп кинуть?

Здравствуйте.
В модуле нет такой таблицы. Вы что то делаете не так. 

Можете сделать скриншот ошибки. Потому что в файлах модуля в строке 1146 тоже ничего нет, это конец файла /admin/model/catalog/simplepars.php

Нужно уточнение. 

[Rassol2]

1 час назад, Ptenec сказал:

было бы круто если бы добавили ипорт экспорт настроек

импорт экспорт настроек. Это вы имеете в виду что бы можно было делится настройками ? 

Если да то это есть в планах. Но не на ближайшие релизы. Сейчас пока занимаюсь накрашиванием функционала связанного с парсингом. 

[maxtop84]

Вот такая ошибка при нажатии на кнопку сохранить)

 

Змінено 14 лютого 2019 користувачем maxtop84

[maxtop84]

49 minutes ago, Rassol2 said:

Здравствуйте.
В модуле нет такой таблицы. Вы что то делаете не так. 

Можете сделать скриншот ошибки. Потому что в файлах модуля в строке 1146 тоже ничего нет, это конец файла /admin/model/catalog/simplepars.php

Нужно уточнение. 

Проблема нашлась, стоял модуль кнопки применить, как его убил всё заработало)))

[Ptenec]

2 часа назад, Rassol2 сказал:

импорт экспорт настроек. Это вы имеете в виду что бы можно было делится настройками ? 

Если да то это есть в планах. Но не на ближайшие релизы. Сейчас пока занимаюсь накрашиванием функционала связанного с парсингом. 

да именно  к примеру есть тестовый сайт где все настроил и кликом перенес!

[Rassol2]

1 час назад, Ptenec сказал:

да именно  к примеру есть тестовый сайт где все настроил и кликом перенес!

Да сперва нарошу функционал а затем уже реализую обмен настройками. Что бы можно было делится здесь настройками. И к примеру что бы в модуле была база настроек популярных поставщиков как например югконтракт. 

[Rassol2]

Обновление.
По просьбе одного пользователя в skype привел вывод ссылок к единому стандарту.
То есть во всех окнах ссылки будут выводится в определенном порядке. 
Порядок такой же как в базе данных от меньшего id к большему.

Это должно привести к тому что ссылки вставленные через формы добавления ссылок будут в том же порядке в котором вы их вставляли. 
http://joxi.ru/gmvvL1Jhq1yKem
http://joxi.ru/n2YayLKSbeGDn2

[alexei1982]

On 11/1/2018 at 10:30 AM, Rassol2 said:

Скачать/Купить дополнение

 

SimplePars - Универсальный парсер для ИМ

---

Модуль SimplePars предназначен для сбора ссылок и парсинга сайтов в csv файл.

В основном пригодится тем кто использует модуль АОП и хочет спарсить сайт поставщика. 

 

В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

 

1. Сбор ссылок, с сайта. Вы можете собрать ссылки на страницы товара и записать их в csv файл. Или же произвести парсинг товаров.

2. Парсинг товаров, статей, фото, цены, любой информации на страницах донора.
3. Формировать прайс csv с данными что вы парсите. Так же прайсы можно формировать в готовом формате для загрузки через АОП.

 

К примеру через данный модуль можно собрать ссылки на все страницы товара вашего поставщика, и произвести парсинг для автоматического наполнения магазина.
Модуль умеет парсить как стандартные данные к примеру Ссылки, Артикул, Название, Цена, Описание, Производитель, Фото
Так же модуль умеет парсить более сложные конструкции, благодаря Повторяющимся границам парсинга.

К примеру Дополнительные фото, Структуру категорий донора. Атрибуты, Опции.
 

Вкладка Сбор ссылок. 
Позволит вам собрать ссылки на Страницы товаров, категорий, статей, производителей. .... На любую группу страниц сайта донора. 

 

Гибкая система настройки фильтров позволит вам с очень высокой точностью настроить поиск определенной группы ссылок.
Вы можете как собрать ссылки с сайта донора, так же можете скопировать их из прайс листа, и произвести фильтрацию ссылок по заданным параметрам. 

Вкладка Настройки парсинга.

На данной вкладке вы можете настроить парсинг на любые данные сайта без исключения. 
Для удобства работы было создано две области

 

1. Вы вод кода страницы что вы собираетесь парсить. С подсветкой синтаксиса.
2. Окно пред просмотра сайта донора, для удобства выбор и поиска данных в коде.
 

Для быстрого поиска нужного элемента в коде можно воспользоватся встроенными функциями вашего браузера ctrl+f
Так же при необходимости можно отключать вывод привью сайта донора. 

Реализована система пред просмотра границ парсинга, что бы до начала парсинга всех данных вы могли совершенно точно произвести все настройки. 

 

Так же присутствует функция повторяющих грани парсинга, что позволяет парсить элементы любой сложности. 

 

Вкладка Настройка CSV / Запуск парсинга данных.

На этой вкладке вы можете произвести настройку файла CSV указав следующие данные.

 

Символ разделителя.
Экранирующий символ. 
Эти настройки позволят вам формировать прайс пол любые задачи, и для пользователя любого офиса 

К примеру: 

Microsoft Office
OpenOffice
LibreOffice
WPS Office

Так же на этой вкладке вы задаете структуру будущего прайс листа. Указывая имена колонкам, и какие данные будут записаны в эти колонки.
В роли данных выступают параметры парсинга что мы настроили ранее.

На этой вкладке так же предусмотрел пред просмотр что бы сделать весь процесс парсинга более прозрачным, и дать возможность более точно настраивать ваши проекты. 

 

После всех проверок и настроек вы можете нажать кнопку старт и парсить все данные в csv файл. 
По окончанию парсинга модуль вам сообщит что все готово, и вы сможете получить готовый прайс с необходимой вам структурой данных. 

Пример готового прайса при помощи модуля SimplePars - Универсальный парсер для ИМ

И это малая часть тех задач которые может выполнить данный модуль. Модуль разрабатывается как универсальный парсер у него нету четких задач, у него есть только набор инструментов.
А что вы построите имея эти инструменты уже зависит только от вас. 

Для того что бы разобраться в модуле я рекомендую вам просмотреть инструкцию к данному модулю. 
Инструкция для работы с модулем SimplePars
Цена модуля по одному + в репутацию за каждую вкладку! Если вы будете платить я буду стремится сделать больше вкладок, больше вкладок больше функционал! 
 

Инструкция по установке.
Установка SimplePars

1. Зайдите в директорию вашей версии модуля, выберите upload и скопируйте все в корень сайта с заменой.

2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.

3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
Разрешить просмотр
Разрешить редактировать
Затем нажмите сохранить.

4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 

5. После этого удалите в корне сайта файл inst.php (Это важно!)

Все модуль установлен.

В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 

Если кому то будет интересен модуль будем развивать его по мере свободного времени. 

Инструкция по обновлению
1. Загрузить содержимое директории uploads  в корень сайта.
2. Выполнить ваш_сайт/inst.php

3. Удалить с корня сайта файл inst.php (Это важно!)

Так же хочу выразить благодарность пользователю @Kiyoshi внешний вид модуля это полностью его работа. 

---

• Добавил
  Rassol2
• Добавлено
  28.10.2018
• Категория
  Парсеры
• Системные требования
   
• Сайт разработчика
   
• Старая цена
   
• Метод активации
  Без активации
• Ioncube Loader
  Нет
• OpenCart
  Несовместим
• ocStore
  2.3
  2.1
• OpenCart.Pro, ocShop
  Не проверялось
• Обращение к серверу разработчика
  Нет

 

 

[alexei1982]

 

Сорри, случайно сделал репост

Отправлено с моего SM-A720F через Tapatalk

[Rassol2]

Только что, alexei1982 сказал:

Сорри, случайно сделал репост

Отправлено с моего SM-A720F через Tapatalk
 

Бывает.
Ничего страшного. 

[sputnikoz]

Здравствуйте.

 

С помощью Вашего парсера в ocStore 2.3.0.2.3 можно напарсить отзывы о товарах с различных источников?

[Rassol2]

16 минут назад, sputnikoz сказал:

Здравствуйте.

 

С помощью Вашего парсера в ocStore 2.3.0.2.3 можно напарсить отзывы о товарах с различных источников?

Здравствуйте.
Парсер универсальный. Парсит те элементы на которые вы настроите. В том числе и отзывы. 

В данном модуле нету привязки к типу данных. 

[pomansur]

// ================== Блок парсинга ===================
    #контролер парсинга. Храни меня господь разобратся что тут написал!

 

[pomansur]

del

Змінено 7 березня 2019 користувачем pomansur

[Rassol2]

20 часов назад, pomansur сказал:

// ================== Блок парсинга ===================
    #контролер парсинга. Храни меня господь разобратся что тут написал!

 

Да там есть такое.  

[Rassol2]

Обновление.

@pomansur Хочу сказать спасибо он нашел косяки в моем коде и сообщил мне ++

Так проблема связана с поиск заменой у кого были проблемы с данным разделом вам нужно обновится и так же скачать файл sql_fix.php он тоже есть на раздачи вместе с архивом. 
Данный файл нужно положить в корень сайта и вызвать через браузер mysite.com/sql_fix.php Этот скрипт исправит мою ошибку в базе данных.

Обратите внимание что файл sql_fix.php нужно скачивать и запускать только тем пользователям у которых есть проблема в работе поиск замены.
Или же если вы зайдете через phpmyadmin в базу данных и в таблице oc_pars_replace Увидите вот такое сообщение

Тогда вам нужно выполнить sql_fix.php В противном случаи у вас как и у меня все хорошо ))) 

Интересно что у меня на площадке для разработки ошибки не было, но в коде модуля при создании базы данных я не указал первичный ключ. 
Странно что все молчали по данному поводу. 

Еше раз спасибо @pomansur

[pomansur]

Есть предложение, сгонять на выбор, или в csv или в отдельную таблицу БД, Из таблицы можно  забирать данные, через обработчик например и распаршивать  на сайт же.

Змінено 8 березня 2019 користувачем pomansur

[Rassol2]

1 час назад, pomansur сказал:

Есть предложение, сгонять на выбор, или в csv или в отдельную таблицу БД, Из таблицы можно  забирать данные, через обработчик например и распаршивать  на сайт же.

я уже работаю над следующей версией. Там есть много задумок.
На данный момент проходит период тестирования самого парсинга данных. Думаю мои идеи еше многим будут интересны. 
До версии 2.0 уже не принимаю хотелки. Но точнее принимаю только для того что бы оценить в какую сторону двигаться.
Так что подписывайтесь будем делать интересные вещи.  

[Rassol2]

Найден еше один детский косяк.
представим что вы собрали ссылки на сайт, а открывая пред просмотр у вас сайт выдает
http://joxi.ru/MAjovdYfjkzEVr

Но если нажать на циферки то сайт открывается в браузере и там по той же ссылке товар есть. 
http://joxi.ru/v29P0RjsZp7XZm

проблема в том что я сделал пред просмотр через GET запрос, а это значить что нельзя сделать пред просмотре сайтов ссылки на которые имеют символ & 
В бушей версии поправлю. 

Суть в том что мой модуль может парсить такие сайт, единственное что вы не можете увидеть код и пред просмотр сайта где ссылки содержат символ &
Временное решение открываете страницу сайта вот так 
http://joxi.ru/v29P0RjsZp7XZm
Затем в браузере жмете ctr+u и видите код страницы что хотите спарсить, выбираете параметры парсинга так же как обычно делаете в моем модуле и записываете их как обычно сюда
http://joxi.ru/Vrw8Kygu74Zwom

и сохраняете. Сам парсин на дургих страница будет работать. 

Еше раз уточню. 
Эта проблема касается ТОЛЬКО ВЫВОДА пред просмотра кода страницы, и превью сайта ТОЛЬКО на странице Настройки парсинга. 
Парсинг как работал хорошо так и работает. 

Нужно переделать метод выбора ссылки пред просмотра и все будет в огнях. 

[pomansur]

4 часа назад, Rassol2 сказал:

я уже работаю над следующей версией. Там есть много задумок.
На данный момент проходит период тестирования самого парсинга данных. Думаю мои идеи еше многим будут интересны. 
До версии 2.0 уже не принимаю хотелки. Но точнее принимаю только для того что бы оценить в какую сторону двигаться.
Так что подписывайтесь будем делать интересные вещи.  

Ждем вторую версию)

[evgenius87]

спасибо автору за модуль. Случайно наткнулся. 1 сайт попробовал, парсит ссылки. Но не могу спарсить с onlinetrade. Видимо, защита серьезная стоит от парсинга, раз не мог даже Datacol спарсить что-либо у них. Если у кого получилось, дайте знать, пожалуйста! )

[Rassol2]

1 час назад, evgenius87 сказал:

спасибо автору за модуль. Случайно наткнулся. 1 сайт попробовал, парсит ссылки. Но не могу спарсить с onlinetrade. Видимо, защита серьезная стоит от парсинга, раз не мог даже Datacol спарсить что-либо у них. Если у кого получилось, дайте знать, пожалуйста! )

Здесь скорее всего вопрос в аномальной активности. 
http://joxi.ru/brR53gVT7Ly4oA

Подобные сайты нужно парсить с разных ip при помощи прокси. 
В моем модуле реализация прокси будет после cron короче говоря не скоро

[strateg2010]

можно тестовый сайт что бы посмотреть сами настройки? пока что не хочу ставить, но на заметку взял себе.

Спасибо скоро буду тестировать. Еще такой вопрос, будет ли он платным?

 

И сможет допустим справится с задачей на парсинг от 10.000 товаров +? Или все таки от хостинга что-то зависит?

 

Планируется планировщик задач? Типа 1 раз в неделю или в день проверять на наличие новых товаров или измененных цен/количества?

 

CD хоть с парсингом справляется без проблем, автоматизация требует наличия сервака с удаленкой (не камельфо) допустим спарсить с помощью CD и затем с вашим модулем проверять грубо говоря на наличие измененных данных (цена\остаток\новый товар) и если есть что-то новое парсить только новое и сразу в магазин. и можно ли допустим сразу под конкретные модули импорта\экспорта догонять прайсы? или сразу в базу лить товары?

Змінено 15 березня 2019 користувачем strateg2010

[Rassol2]

Только что, strateg2010 сказал:

можно тестовый сайт что бы посмотреть сами настройки? пока что не хочу ставить, но на заметку взял себе.

Спасибо скоро буду тестировать. Еще такой вопрос, будет ли он платным?

Пока бесплатный не делал тест. 
да будет платным, поскольку развивая я затрону функции которые делают другие модули, а заниматься демпингом это не хорошо. 
Да и лукавить не буду, это доход от модуля позволит освободит время, в том числе и для его поддержки и развития. 

Тестовый сайт сделаю только когда он будет платным. Поскольку модуль посвящен парсинг гости будут заходит и парсить что создаст нагрузку на хост, нужно будет все обдумать и сделать правильно. Но это позже.