[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

56 минут назад, SiteMix сказал:

Надеюсь, критика и предложения воспринимается нормально...

 

Дошли руки, решил затестить. Установил версию SimplePars-0.1. Погнали...

1. Предупреждение, которое встречает при первом открытии модуля: "У вас нету созданных доноров." звучит не очень...

Быть может, лучше так: "У вас пока нет проектов."? И ещё не хватает пробела между значком и текстом.

2. Версия которая отображается - v0.01. Напомню, я скачал версию v0.1. Кстати, в предыдущей имеющейся у меня версии

SimplePars-0.02 высвечивается та же v0.01. Версия указана в файле локализации и, наверное, при выходе новой версии

забывается что нужно нумерацию подправить.

Вероятно, есть смысл перенести нумерацию в какой-то другой файл и менять её с изменением версии.

3. Не смотря на разделение папок по версиям движка, в папках для каждой версии присутствуют файлы локализации как для 2.1, так и для 2.3

4. Создал  донора  проект. Страница вся в кракозябрах... Думал с кодировкой что-то и проверил все файлы в дистрибутиве. Все нормальные...

Ещё так бывает при ошибке, но ошибки в верху не видно. Однако в журнале она есть:

"2018-11-30 9:03:51 - PHP Notice:  Undefined variable: userinput in Z:\home\os23.local\www\admin\controller\catalog\simplepars.php on line 67"

 

Делать нечего, накатил файлы от версии 0.02. Обновил страницу. Ошибок нет.

 

Пока всё, буду пробовать дальше.

 

 

Да поправлю.
грамматика это вообще не мое. 

Все остальное проверю по меняю. 
Для меня было бы проше всего пилить под ocStore 2.3 поскольку продавать пока не намерен перестал записывать название полей и кнопок в файлы локализации.
И гвоздем записываю в файлы дизайна. 

Всему свое время.  
 

[Rassol2]

По просьбе одного человека сделал проверку сбора ссылок на 8 сайтах. И самое смешное смог собрать только на одном.
Уже исправил. В следующем обновлении прилетит.
 

[Rassol2]

интересно что у других все собирается. Или люди просто не пишут об это. 
те кто пробовал. 

[Rassol2]

Сегодня завтра будет релиз новой версии. 

Теперь модуль сможет не только собирать ссылки но и парсить сам сайт и записывать все в файл для обработки АОП
price-7.csv этот прайс был составлен полностью через модуль начиная от сбора ссылок заканчивая настройкой параметров парсинга, и собственно самим парсингом. 

Так же учел замечания @SiteMix
Любители развлечений скоро будем тыкать )))

[SiteMix]

1 час назад, Rassol2 сказал:

Теперь модуль сможет не только собирать ссылки но и парсить сам сайт и записывать все в файл для обработки АОП

О! Интересно!.

 

1 час назад, Rassol2 сказал:

price-7.csv этот прайс был составлен полностью через модуль начиная от сбора ссылок заканчивая настройкой параметров парсинга, и собственно самим парсингом.

Неплохо! Но, всё же, ссылки в файле надо бы оставить. Ведь что-то проще спарсить.

Тем более, что атрибуты в этом файле собраны в неподходящем для АОП виде.

[rozario888]

2 часа назад, Rassol2 сказал:

Теперь модуль сможет не только собирать ссылки но и парсить сам сайт и записывать все в файл для обработки АОП

Еще бы как то соответствие товарам делалось))))

[Rassol2]

2 часа назад, SiteMix сказал:

О! Интересно!.

 

Неплохо! Но, всё же, ссылки в файле надо бы оставить. Ведь что-то проще спарсить.

Тем более, что атрибуты в этом файле собраны в неподходящем для АОП виде.

Да такая возможность будет.
Так же как и парсинг атрибутов. Только уже в следующих обновлениях.
Не возможно все сразу сделать.  

[Rassol2]

2 часа назад, rozario888 сказал:

Еще бы как то соответствие товарам делалось))))

Это если делать модуль который будет делать все под ключ парсинг сайтов. Тогда да такое нужно. 

Но этот модуль я позиционирую как просто игрушку которая кое что умеет. Чем больше свободного времени у меня будет тем больше эта игрушка будет уметь. 

[Rassol2]

@rozario888 @SiteMix @Vorodisa

Господа жду ваши отзывы. Пойду нервничать в сторонку )
 

Модуль SimplePars предназначен для сбора ссылок и парсинга сайтов в csv файл.

 

В двух словах не описать что умеет делать модуль.
Но если не попытаться вы просто пройдете мимо )

Модуль умеет собирать ссылки с любого сайта. 

Для сбора ссылок вам достаточно указать ссылку с которой нужно начать сбор. Затем указать какого рода ссылки вас интересуют. И какие ссылки вам не нужны. 
Это в двух словах, а так настройки довольно гибкие. 

 

После сбора ссылок вы можете их скопировать записать в текстовый файл или эксель, если ваша задача была просто собрать ссылки. Но если вы хотите спарсить товары в csv файл тогда приглашаю дальше )

Вкладка параметры парсинга, здесь вы можете настроить параметры парсинга элементов.
К примеру:

• Артикул
• Название
• Цена
• Наличие
• Описание

И многих других. Так же хочу заметить что при помощи этого модуля можно парсить любую информацию не только товары в интернет магазин, а статьи или новости да все что угодно.

Для удобство работы настройки границы парсинга было выполнено в виде двух блоков с пред просмотром сайта. И пред просмотром исходного кода. 
И даже больше для удобства была реализована подсветка синтаксиса исходного кода страницы.
В привью сайта вы можете видеть страницу что парсите. Так же можете выделить элемент что вы хотите спарсить и через поиск в браузере найти его в коде страницы.
Сбоку у вас привычный бар с ссылками что вы собрали для переключения на разные страницы сайта. 

 

После настройки параметров парсинга можно перейти к формированию прайса. Все данные что вы парсите будут записаны в таблицу CSV
Перейдем к еше одной не мало важной вкладке данного модуля : Настройка CSV / Запуск парсинга данных

На этой вкладке вы может настроить форму прайс листа, в каком виде получать данные.

CSV файл формируется по негласному стандарту разделитель между ячейками ; в будущем сделаю настройку. Файл создается в директории /admin/uploads/ для совместимости с модулем AOП
Так же если у вас есть ссылки и вам нужно просто спарсить в файл csv вы можете записать ваши ссылки на этой вкладке.
Так же перед запуском парсинга в файл вы можете воспользоватся пред просмотром, нажав на кнопку Пред просмотр вы увидите подобие CSV таблицы с вписанными данными. 
Там же есть переключатель ссылок. Вы можете проверить параметры на разных ссылка что бы убедится в правильности ваших настроек. 

 

Цена модуля по одному + в репутацию за каждую вкладку! Если вы будете платить я буду стремится сделать больше вкладок, больше вкладок больше функционал!  

На данный момент проверял работоспособность модуля только на версиях oStore 2.1 - 2,3 На остальных версия я просто не тестировал. 

 

Инструкция по установке.
Установка SimplePars

1. Зайдите в директорию вашей версии модуля, выберите upload и скопируйте все в корень сайта с заменой.

2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.

3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
Разрешить просмотр
Разрешить редактировать
Затем нажмите сохранить.

4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 

5. После этого удалите в корне сайта файл inst.php (Это важно!)

Все модуль установлен.

В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 

Если кому то будет интересен модуль будем развивать его по мере свободного времени. 

Инструкция по обновлению
1. Загрузить содержимое директории uploads  в корень сайта.
2. Выполнить inst.php

3. Удалить с корня сайта файл inst.php (Это важно!)

[Nomandvs]

@Rassol2 Приветствую!

 

Этим обновлением вы очень сильно поможете небольшим магазинам, которые живут только за счёт сайтов-доноров, без прайс листов и без CD по разным обстоятельствам.

Возьму так же на вооружение и присоединюсь к тестам. Есть несколько магазинов, где этот модуль будет как глоток воздуха для их владельцев. 

 

 

[Rassol2]

33 минуты назад, Nomandvs сказал:

@Rassol2 Приветствую!

 

Этим обновлением вы очень сильно поможете небольшим магазинам, которые живут только за счёт сайтов-доноров, без прайс листов и без CD по разным обстоятельствам.

Возьму так же на вооружение и присоединюсь к тестам. Есть несколько магазинов, где этот модуль будет как глоток воздуха для их владельцев. 

 

 

Спасибо. Если что пишите. Теперь буду работать на оптимизацию. Хочу все тонкости учесть.

Если ни у кого не будет проблем тогда начну переводить страницу настроек параметров парсинга на ajax запросы, поскольку утомительно настраивать если страница донора весит много. 

[SiteMix]

Ого! Вот это апгрейд!

Сразу не обещаю, но в ближайшее время протестирую обязательно!

[rozario888]

Апгрейд как гром среди ясного неба Постараюсь в ближайшее время протестить, очень любопытно 

[kikaridza123]

В 08.12.2018 в 20:47, SiteMix сказал:

price-7.csv 

Еще не устанавливал,
но, на выходных протестирую.
Но для меня важным является
1. Возможность убирать ссылки из контента который парситься, например в файле price-7.csv в характеристиках есть ссылки <a href="bat.html"> кажется, ну где-то галочку "Убирать данные в тегах <a >...</a>
Остальное протестирую на выходных и допишу отзыв более детально 
 

[Rassol2]

2 часа назад, kikaridza123 сказал:

Еще не устанавливал,
но, на выходных протестирую.
Но для меня важным является
1. Возможность убирать ссылки из контента который парситься, например в файле price-7.csv в характеристиках есть ссылки <a href="bat.html"> кажется, ну где-то галочку "Убирать данные в тегах <a >...</a>
Остальное протестирую на выходных и допишу отзыв более детально 
 

В планах есть реализация аналага функции поиск замена. 
Что позволит реализовать гибкую зачистку данных. 

Все зависит от контингента модуля, кто будет его использовать или отписываться в этой ветке. 
если люди которые немного понимаю как все работает. Тогда будет только поиск замена. И можно будет на любой параметр парсинга выставить правило 
<{skip}> - это правило будет удалять все теги html 
Если контингент будет менее подкован в it значит сделаю галочку Удалить html теги. 

Есть желтение оставить модуль придельно понятным. 
 

[kikaridza123]

Подскажите а какое максимальное кол-во ссылок модуль может собрать?
Ну если тестировали конечно.

---
запустил сбор ссылок с сайта aviasales
задача сбор авиалиний

пока так. 
http://prntscr.com/lt293b

Для меня этот модуль прям то что доктор прописал.
Жду будущих обновлений.

Змінено 10 грудня 2018 користувачем kikaridza123

[Rassol2]

5 часов назад, rozario888 сказал:

Апгрейд как гром среди ясного неба Постараюсь в ближайшее время протестить, очень любопытно 

буду ждать. 

[Rassol2]

Только что, kikaridza123 сказал:

Подскажите а какое максимальное кол-во ссылок модуль может собрать?
Ну если тестировали конечно.

 

Верхнего предела нету. 
Все ссылки пишется в mysql сколько у вас дискового пространства будет под базу данных столько и можно. Хоть шестнадцать миллионов. 
Единственное что, на вкладке CSV не установлено ограничения вывода ссылок для предпросмотра. То есть если будет миллион ссылок будет долго генерировать страницу. Но если такое случится я просто веду ограничение на список ссылок в предпросмотре. И все. 

[Rassol2]

6 часов назад, SiteMix сказал:

Ого! Вот это апгрейд!

Сразу не обещаю, но в ближайшее время протестирую обязательно!

Бду ждать. 

[Rassol2]

Ну и так же если говорить про ограничения. То этот модуль изначально избавлен од проблемы php time limit
К примеру АОП при запуске работает ровно столько времени сколько разрешено хостингом. 
А вот мой модуль работает в связке с браузером и работает порционно. 

для тех кто в теме
браузер выступает демоном который дергает парсинг по одной ссылке. 

кто не в теме. 
Пр нажатии старт браузер посылает запрос на парсинг одной ссылки из очереди. Затем получает ответ от сервера либо да, либо нет. Если да то делает запрос на парсинг следующей ссылки.

Этим я добился что время на выполнения скрипта считается время парсинга одной ссылки. 

Я думаю для простого обывателя это важно.  
 

[Rassol2]

16 минут назад, kikaridza123 сказал:

Подскажите а какое максимальное кол-во ссылок модуль может собрать?
Ну если тестировали конечно.

---
запустил сбор ссылок с сайта aviasales
задача сбор авиалиний

пока так. 
http://prntscr.com/lt293b

Для меня этот модуль прям то что доктор прописал.
Жду будущих обновлений.

ну вот вы и напишите как работает с большим количеством ссылок. 
От вашей информации буду плясать. Что то поправлю или переделаю. 

Самому интересно. Но чисто физически все от тестировать не могу. Сорян  

[cherkas]

внутрь не заглядывал пока, но по описанию многообещающе

[kikaridza123]

18 часов назад, Rassol2 сказал:

ну вот вы и напишите как работает с большим количеством ссылок. 
От вашей информации буду плясать. Что то поправлю или переделаю. 

Со вчерашнего вечера, http://prntscr.com/lteehz
еще собирает.
1. Было бы не плохо сделать нумерацию строк, так как каждый раз после добавления нового параметра парсинга страница обновляется и когда много строк кода сложно найти последнюю отметку,
( или же сделать добавление параметра парсинга без перезагрузки страницы.)

2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки)
Например для последующего парсинга и обновления цены через АОП.

3.Не знаю как для других, но иногда у поставщика есть сайт мап, и было бы наверное круто просто вставить ссылку на сайтмап, прописать необходимые параметры сбора ссылок, и собрать все необходимое, так возможно в некоторых случаях сбор ссылок будет происходить быстрее.

---
Появятся еще мысли напишу.
---
 

[Kosdershtok]

Всем привет. Может кто подскажет, хоть примерно. Как спарсить вот это? http://nk.rossko.ru/catalog-parts/amortizator/?sid=a0469ac533e08e063cc9b36baaed5100 Шаблон ссылок очереди: /catalog-parts/, качает все подрят, а с /amortizator/ никак

Извиняюсь если что, изучаю еще. Но в перспективе, это будет шедевр а не модуль!)

Змінено 11 грудня 2018 користувачем Kosdershtok

[Rassol2]

В 11.12.2018 в 09:34, kikaridza123 сказал:

1. Было бы не плохо сделать нумерацию строк, так как каждый раз после добавления нового параметра парсинга страница обновляется и когда много строк кода сложно найти последнюю отметку,

на оборот в новых версиях было убрана нумерация строк в пользу подсчета общего количества. 
http://joxi.ru/YmEa4gRSw0Gkam

если вставлять нумерацию в textarea тогда нумерация будет копироваться в буфер обмена. И если вы захотите перенести ссылки в текстовый документ получится вот так. 
 

 

В 11.12.2018 в 09:34, kikaridza123 сказал:

2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки)
Например для последующего парсинга и обновления цены через АОП.

да это будет в следующих версиях. 
Для этого нужно внедрить целую область, так называемые встроенные макросы. 
Гвоздями прибить вывод ссылки которая парсится в первой колонке прайс листа это не сложно, но это не гибко. 

 

Цитата

3.Не знаю как для других, но иногда у поставщика есть сайт мап, и было бы наверное круто просто вставить ссылку на сайтмап, прописать необходимые параметры сбора ссылок, и собрать все необходимое, так возможно в некоторых случаях сбор ссылок будет происходить быстрее.

И да и нет.
С своей горы могу сказать это не работает. очень мало сайтов держат сайт мап в актуальном состоянии. И отдельно писать обработчик сайт мапа я бы не хотел. Вот честно )
В вашем случаи нужно делать больше уточнений в поиске ссылок. http://joxi.ru/8Ano4aLfzjNewr
наверное было бы более целесообразным сделать обмен проектами. Вы скинули проект на форум я у себя загрузил глянул поправил отправил вам. 

К примеру парсинг ссылок можно делать не собирая ссылки на все товары. А собрав ссылки на все категории, и страницы категорий. А затем через повторяющиеся границы парсинга просто собрать все ссылки. Но повторяющих грани тоже пока нету  /
Но они в планах.