[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 минуту назад, Axelenz сказал:

И ещё вопрос.

Спарсил около 200 ссылок и проверил. В некоторых местах не спарсились данные (парсил артикул и название товара). На всём количестве не спарсилось примерно по 10-и ссылкам. Проверил вручную - данные у донора присутствуют. Почему модуль делает пропуски ? Может пробовать задержку ставить ?

Модуль ни как не может сделать пропуск. 
Если у вас остальные данные с страницы парсятся значит вопрос не в этом. 
Через пред просмотр попробуйте прогнать такую ссылку. 

[Rassol2]

Господа сейчас мне известен баг когда после вода ссылку вручную, модуль их не парсит. 
в логах выдает ошибку 
 

2018-12-19 11:14:28| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/index.php?route=product/product&path=59&product_id=2223
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-belyj-12v-c-p-10100-1255.html
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-belyj-24v-c-p-10308-1256.html
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-geltyj-12v-c-p-10140-1257.html
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-zelenyj-12v-c-p-10130-1258.html
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-krasnyj-12v-c-p-10120-1259.html

Уже уведомили про это, так что появится свободная минута буду устранять этот баг. 

[Rassol2]

все баг с добавлением ссылок исправлен. 

[Axelenz]

Ещё не плохо было бы иметь возможность вносить в столбцы в закладке "Настройки парсинга" произвольные данные (например: вставить родительские категории...). Вроде бы мелочь, но иногда необходимая и полезная. А зачем лишний раз входить в excel, если гораздо удобнее сразу же получить на выходе готовый прайс ?

Внести в " Тип границы парсинга " переменную "Статические данные", которые парсить не нужно, но они идут в таблицу в неизменном виде...

 

Я к тому, что, к примеру, парсю товары в категории "Датчики". Вот мне необходимо младшую категорию, например "датчики дыма", "датчики разбития стекла" и пр. парсить, они меняются, но зачем мне парсить родительские категории, которые мне и так известны, например:

 

Младшая категория: Датчики дыма (парсится потому, что меняются); Родительская категория: Датчики; Родительская категория: Каталог.

 

Поэтому и говорю о статических данных, которые можно было бы самому ввести и этого парсить не нужно...

 

Или второй вариант, когда я не хочу получать на своём сайте ту же вложенность категорий. что и у донора... 

[Rassol2]

14 часов назад, Axelenz сказал:

Ещё не плохо было бы иметь возможность вносить в столбцы в закладке "Настройки парсинга" произвольные данные (например: вставить родительские категории...). Вроде бы мелочь, но иногда необходимая и полезная. А зачем лишний раз входить в excel, если гораздо удобнее сразу же получить на выходе готовый прайс ?

Внести в " Тип границы парсинга " переменную "Статические данные", которые парсить не нужно, но они идут в таблицу в неизменном виде...

 

Я к тому, что, к примеру, парсю товары в категории "Датчики". Вот мне необходимо младшую категорию, например "датчики дыма", "датчики разбития стекла" и пр. парсить, они меняются, но зачем мне парсить родительские категории, которые мне и так известны, например:

 

Младшая категория: Датчики дыма (парсится потому, что меняются); Родительская категория: Датчики; Родительская категория: Каталог.

 

Поэтому и говорю о статических данных, которые можно было бы самому ввести и этого парсить не нужно...

 

Или второй вариант, когда я не хочу получать на своём сайте ту же вложенность категорий. что и у донора... 

Внедрение таких фунций буду делать на этапе создания макросов. 

[Rassol2]

Обновление 1.1.4 принесло в себе немного улучшений в настройках параметров парсинга. 

Первое улучшение добавлено отключения привью сайта. По привью донора выводится но при желании теперь его можно отключить. Что ускорят работу с переключением и настройкой параметров парсинга в много раз. 

При включенном привью донора
 

Спойлер

Так же если отключить привью сайта, тогда блок с исходным кодом донора становится на 100% больше.
 

С выключенными привью.
 

Спойлер

А теперь к основным изменениям. 

Так произошло что людям совершенно не понятно что такое повторяющие границы парсинга, и пришлось внедрить немного ясности. 
Добавлена функция предварительного просмотра границ парсинга. 

Представим что вам нужно спарсить название товара. Раньше вы указывали границы парсинга  и могли только наедятся что сделали все верно. 
теперь же перед сохранением границы парсинга вы можете проверить свои настройки. 
 

Спойлер

и после нажатия  Пред просмотр  вы увидите в блоке код только ту часть, что будет спарсеня этой границей. 
А именно.

Спойлер

Теперь может заполнить название и сохранить. 

Я думаю это удобно  

Но главное удобство ждет в работе с повторяющимися границами. Для этого и делалось. 

Допустим нам нужно получить категории с хлебных крошек. 
Для начала мы настраиваем обычную границу парсинга на весь блок с категориями.

 

Спойлер

Но нам нужен не весь блок а только имена категорий и желательно в таком формате
Главная;Авто стайлинг;Логотипный светодиодный проектор (3D проекция)
Для этого мы приступаем к настройке повторяющихся границ парсинга, и пред просмотр тут будет как никогда к стати. 
 

Спойлер

После чего у нас открывается маленький кусочек кода, эта та часть которая выбрана для работы в Область для повторяющей границы парсинга
Здесь довольно просто будет найти параметры парсинга которые присутствуют у всех имен категорий. 

Далее подбираем повторяющиеся границы парсинга.
И жмем Пред просмотр. Для того что бы проверить все ли верно настроено. 

И увидим вот такую картину.
 

Спойлер

В Пред просмотре видно что все настроено идеально, можно дописать название и нажать заветную кнопку сохранить. И быть уверенным что все спарсится именно так как вы хотите. 

Ну и можно перейти к заключительной части настройки парсинга интернет магазина в csv файл.

Задаем какие вы хотите видеть колонки в прайс листе.
И какие данные в этих колонках.
 

Спойлер

И вы получите вот такой чудесный результат. 


Пробуйте, пишите.
Я бы написал подписывайтесь, жмите на колокольчик. Но достаточно будет ваших лайков ))

 

PS. Да я допускаю огромное количество ошибок в правописании. Я знаю и каюсь  в модуле буду вычищать, а вот скриншоты уже переделывать не буду. Хоть убейте меня.  

 

[Axelenz]

Цитата

Так произошло что людям совершенно не понятно что такое повторяющие границы парсинга, и пришлось внедрить немного ясности. 
Добавлена функция предварительного просмотра границ парсинга.

 

Это круто... это будет модуль, понятный даже для домохозяек )))

[Rassol2]

Только что, Axelenz сказал:

 

Это круто... это будет модуль, понятный даже для домохозяек )))

Спасибо. 
На это и рассчитываю.  
 

[Axelenz]

Налезло немного. У меня монитор 22"

[Rassol2]

5 часов назад, Axelenz сказал:

Налезло немного. У меня монитор 22"

 

спасибо исправлю. 

[Axelenz]

Цитата

Но нам нужен не весь блок а только имена категорий и желательно в таком формате
Главная;Авто стайлинг;Логотипный светодиодный проектор (3D проекция)

 

Как хорошо было бы, если бы можно было поставить галочку типа "Обратный порядок". чтобы после включения галочки уже выдавало:

Логотипный светодиодный проектор (3D проекция);Авто стайлинг;Главная

 

[Rassol2]

11 часов назад, Axelenz сказал:

 

Как хорошо было бы, если бы можно было поставить галочку типа "Обратный порядок". чтобы после включения галочки уже выдавало:

Логотипный светодиодный проектор (3D проекция);Авто стайлинг;Главная

 

да я помню об этом. 
по мере внедрения функционала будет реализовано. 

[Axelenz]

Логика "И" очень полезна, но работает ведь только когда есть, к примеру, одна категория и указываем .html как окончания ссылок, чтобы не захватывать лишнее. Но когда категорий не одна, тогда с чем "И", .html с категорией или категории друг с другом... не работает так. Лучше вынести эту логику, например, в третий столбец, тогда можно выставить, что окончание .html, к примеру, указано для всех категорий...

[Rassol2]

13 минут назад, Axelenz сказал:

Логика "И" очень полезна, но работает ведь только когда есть, к примеру, одна категория и указываем .html как окончания ссылок, чтобы не захватывать лишнее.

нет, далеко не только. 
если нужно собрать все страницы определено категории. 

А еше если вы хотите спрасить только товары попадающие под определенный фильтры в категориях. 

Область применения довольно широкая. 

 

Цитата

Но когда категорий не одна, тогда с чем "И", .html с категорией или категории друг с другом... не работает так.

тогда включается в игру границы того чего быть не должно нужно более точно туда заносить правки. 

 

Цитата

Лучше вынести эту логику, например, в третий столбец, тогда можно выставить, что окончание .html, к примеру, указано для всех категорий...

Можно, но зачем ? 
Если логика останется таже зачем осложнять понимание. 
если кому то нужно он переключит галочку. 

Не хочу усложнять системе без веских причин. Мне  ее поддерживать )))

[gasya]

On 11/5/2018 at 11:09 AM, Rassol2 said:

точнее. Что за проблема ? 

Добрый день и с наступающими праздниками и выходными!!!

Вопрос: у меня есть товары в магазине и артикул товара. Можно как то парсить описание для имеющегося товара в магазине по названию или артикулу? 

[Rassol2]

16 минут назад, gasya сказал:

Добрый день и с наступающими праздниками и выходными!!!

Вопрос: у меня есть товары в магазине и артикул товара. Можно как то парсить описание для имеющегося товара в магазине по названию или артикулу? 

Да можно. 
Спарсить все описания и артикула. А потом при загрузке делать сравнение. Но данный модель не грузит в магазин. 
Пока не грузит.  

[gasya]

11 minutes ago, Rassol2 said:

Да можно. 
Спарсить все описания и артикула. А потом при загрузке делать сравнение. Но данный модель не грузит в магазин. 
Пока не грузит.  

с hotline.ua парсит?

[Rassol2]

5 минут назад, gasya сказал:

с hotline.ua парсит?

там будут проблемы с блокировкой ip при парсинге. 
Сейчас можно использовать паузу парсинга, но без VPN наверное не стоит парсить такие сайты как хотлаин или яндекс маркет. 
Они хорошо борются за то что бы их не парсили. 

Модуль бесплатен можете скачивать и пробовать.
Если что пишите сюда будем обсуждать. 

[gasya]

11 minutes ago, Rassol2 said:

там будут проблемы с блокировкой ip при парсинге. 
Сейчас можно использовать паузу парсинга, но без VPN наверное не стоит парсить такие сайты как хотлаин или яндекс маркет. 
Они хорошо борются за то что бы их не парсили. 

Модуль бесплатен можете скачивать и пробовать.
Если что пишите сюда будем обсуждать. 

только увидел что 3ю версию опенкарта не поддерживает((

[Rassol2]

Только что, gasya сказал:

только увидел что 3ю версию опенкарта не поддерживает((

да как то особо не до нее. 
Я за модуль не беру денег, пока что просто пишу и наслаждаюсь.

И не хочется прсто так плодить версии и делать разработку более сложнее. Пока не появится большая аудитория. 
А ее пока что нет. 
 

[Axelenz]

Цитата

И не хочется прсто так плодить версии и делать разработку более сложнее. Пока не появится большая аудитория. 
А ее пока что нет. 

Анекдот по случаю:

 

- Мама, жарьте рыбу!
- Так нету ж рыбы...
- Мама, вы жарьте, а рыба будет!

[Rassol2]

@Axelenz Да что то в это роде. 
когда придумаю нормальную модель для продажи модуля. Тогда переведу его в режим продажи и тогда буду уже адаптировать под все. 
А так. Обкатываем идеи. 

[artyr1281]

В 03.11.2018 в 17:37, Rassol2 сказал:

Вдохновлялся им. И может попримеру него ещё что то прикручу. Все зависит от людей будет нужно или нет. 

точно нужно , дня 3 уже ковыряю.   ++++ вот на ночь глядя набрёл завтра буду пробовать.  спасибо за труды. 

[Vorodisa]

Жесть, модуль получил огромное развитие, а пользоваться некогда ((( Ну ничего доберусь )))

[Rassol2]

8 часов назад, artyr1281 сказал:

точно нужно , дня 3 уже ковыряю.   ++++ вот на ночь глядя набрёл завтра буду пробовать.  спасибо за труды. 

И вам спасибо.