Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

1 минуту назад, Axelenz сказал:

И ещё вопрос.

Спарсил около 200 ссылок и проверил. В некоторых местах не спарсились данные (парсил артикул и название товара). На всём количестве не спарсилось примерно по 10-и ссылкам. Проверил вручную - данные у донора присутствуют. Почему модуль делает пропуски ? Может пробовать задержку ставить ?

Модуль ни как не может сделать пропуск. 
Если у вас остальные данные с страницы парсятся значит вопрос не в этом. 
Через пред просмотр попробуйте прогнать такую ссылку. 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Господа сейчас мне известен баг когда после вода ссылку вручную, модуль их не парсит. 
в логах выдает ошибку 
 

2018-12-19 11:14:28| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/index.php?route=product/product&path=59&product_id=2223
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-belyj-12v-c-p-10100-1255.html
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-belyj-24v-c-p-10308-1256.html
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-geltyj-12v-c-p-10140-1257.html
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-zelenyj-12v-c-p-10130-1258.html
2018-12-19 11:14:29| Парсинг : НЕИЗВЕТНЫЙ ОТВЕТ Ответ сервера не распознан. Код ответа [0] Ссылка | http://svetavto.com.ua/led/t10-w5w-1smd-5050-krasnyj-12v-c-p-10120-1259.html

Уже уведомили про это, так что появится свободная минута буду устранять этот баг. 

Ссылка на комментарий
Поделиться на других сайтах

все баг с добавлением ссылок исправлен. 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Ещё не плохо было бы иметь возможность вносить в столбцы в закладке "Настройки парсинга" произвольные данные (например: вставить родительские категории...). Вроде бы мелочь, но иногда необходимая и полезная. А зачем лишний раз входить в excel, если гораздо удобнее сразу же получить на выходе готовый прайс ?

Внести в " Тип границы парсинга " переменную "Статические данные", которые парсить не нужно, но они идут в таблицу в неизменном виде...

 

Я к тому, что, к примеру, парсю товары в категории "Датчики". Вот мне необходимо младшую категорию, например "датчики дыма", "датчики разбития стекла" и пр. парсить, они меняются, но зачем мне парсить родительские категории, которые мне и так известны, например:

 

Младшая категория: Датчики дыма (парсится потому, что меняются); Родительская категория: Датчики; Родительская категория: Каталог.

 

Поэтому и говорю о статических данных, которые можно было бы самому ввести и этого парсить не нужно...

 

Или второй вариант, когда я не хочу получать на своём сайте ту же вложенность категорий. что и у донора... 

Ссылка на комментарий
Поделиться на других сайтах


14 часов назад, Axelenz сказал:

Ещё не плохо было бы иметь возможность вносить в столбцы в закладке "Настройки парсинга" произвольные данные (например: вставить родительские категории...). Вроде бы мелочь, но иногда необходимая и полезная. А зачем лишний раз входить в excel, если гораздо удобнее сразу же получить на выходе готовый прайс ?

Внести в " Тип границы парсинга " переменную "Статические данные", которые парсить не нужно, но они идут в таблицу в неизменном виде...

 

Я к тому, что, к примеру, парсю товары в категории "Датчики". Вот мне необходимо младшую категорию, например "датчики дыма", "датчики разбития стекла" и пр. парсить, они меняются, но зачем мне парсить родительские категории, которые мне и так известны, например:

 

Младшая категория: Датчики дыма (парсится потому, что меняются); Родительская категория: Датчики; Родительская категория: Каталог.

 

Поэтому и говорю о статических данных, которые можно было бы самому ввести и этого парсить не нужно...

 

Или второй вариант, когда я не хочу получать на своём сайте ту же вложенность категорий. что и у донора... 

Внедрение таких фунций буду делать на этапе создания макросов. 

Ссылка на комментарий
Поделиться на других сайтах

Обновление 1.1.4 принесло в себе немного улучшений в настройках параметров парсинга. 

Первое улучшение добавлено отключения привью сайта. По привью донора выводится но при желании теперь его можно отключить. Что ускорят работу с переключением и настройкой параметров парсинга в много раз. 


При включенном привью донора
 

Спойлер

12.thumb.png.0bf6319c88b6a8f82e3d91f9c9c4dddb.png


Так же если отключить привью сайта, тогда блок с исходным кодом донора становится на 100% больше.
 

С выключенными привью.
 

Спойлер

13.thumb.png.0fc643a0882c6eca51d4e039f5c97f47.png



А теперь к основным изменениям. 

Так произошло что людям совершенно не понятно что такое повторяющие границы парсинга, и пришлось внедрить немного ясности. 
Добавлена функция предварительного просмотра границ парсинга. 


Представим что вам нужно спарсить название товара. Раньше вы указывали границы парсинга  и могли только наедятся что сделали все верно. 
теперь же перед сохранением границы парсинга вы можете проверить свои настройки. 
 

Спойлер

6f8616a61c.thumb.png.03f96127afca10433f1a38147a6312b0.png



и после нажатия  Пред просмотр  вы увидите в блоке код только ту часть, что будет спарсеня этой границей. 
А именно.

Спойлер

14.png.f7c175ebe055ce04897f90e29cb790af.png

Теперь может заполнить название и сохранить. 

Я думаю это удобно :) 

Но главное удобство ждет в работе с повторяющимися границами. Для этого и делалось. 

Допустим нам нужно получить категории с хлебных крошек. 
Для начала мы настраиваем обычную границу парсинга на весь блок с категориями.

 

Спойлер

15.thumb.png.b6cc8bb7a62c8463d1bd7adc784fdce8.png

Но нам нужен не весь блок а только имена категорий и желательно в таком формате
Главная;Авто стайлинг;Логотипный светодиодный проектор (3D проекция)
Для этого мы приступаем к настройке повторяющихся границ парсинга, и пред просмотр тут будет как никогда к стати. 
 

Спойлер

16.thumb.png.f78159a93557e48a46dea92bbd89c0d4.png

После чего у нас открывается маленький кусочек кода, эта та часть которая выбрана для работы в Область для повторяющей границы парсинга
Здесь довольно просто будет найти параметры парсинга которые присутствуют у всех имен категорий. 

Далее подбираем повторяющиеся границы парсинга.
И жмем Пред просмотр. Для того что бы проверить все ли верно настроено. 

И увидим вот такую картину.
 

Спойлер

17.thumb.png.2a08ff9b34f2886e991b26b8c4ecc6f7.png



В Пред просмотре видно что все настроено идеально, можно дописать название и нажать заветную кнопку сохранить. И быть уверенным что все спарсится именно так как вы хотите. 

Ну и можно перейти к заключительной части настройки парсинга интернет магазина в csv файл.

Задаем какие вы хотите видеть колонки в прайс листе.
И какие данные в этих колонках.
 

Спойлер

18.thumb.png.ac2cfde6f64cd2f20e2ada26841269e3.png



И вы получите вот такой чудесный результат. 
19.thumb.png.a5b56a7ecc4074f27645112e23985245.png

Пробуйте, пишите.
Я бы написал подписывайтесь, жмите на колокольчик. Но достаточно будет ваших лайков ))

 

PS. Да я допускаю огромное количество ошибок в правописании. Я знаю и каюсь :( в модуле буду вычищать, а вот скриншоты уже переделывать не буду. Хоть убейте меня. :( 

 

  • +1 3
Ссылка на комментарий
Поделиться на других сайтах

Цитата

Так произошло что людям совершенно не понятно что такое повторяющие границы парсинга, и пришлось внедрить немного ясности. 
Добавлена функция предварительного просмотра границ парсинга.

 

Это круто... это будет модуль, понятный даже для домохозяек )))

Ссылка на комментарий
Поделиться на других сайтах


Только что, Axelenz сказал:

 

Это круто... это будет модуль, понятный даже для домохозяек )))

Спасибо. 
На это и рассчитываю.  
 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Налезло немного. У меня монитор 22"

1.jpg

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


5 часов назад, Axelenz сказал:

Налезло немного. У меня монитор 22"

 

спасибо исправлю. 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Цитата

Но нам нужен не весь блок а только имена категорий и желательно в таком формате
Главная;Авто стайлинг;Логотипный светодиодный проектор (3D проекция)

 

Как хорошо было бы, если бы можно было поставить галочку типа "Обратный порядок". чтобы после включения галочки уже выдавало:

Логотипный светодиодный проектор (3D проекция);Авто стайлинг;Главная

 

Ссылка на комментарий
Поделиться на других сайтах


11 часов назад, Axelenz сказал:

 

Как хорошо было бы, если бы можно было поставить галочку типа "Обратный порядок". чтобы после включения галочки уже выдавало:

Логотипный светодиодный проектор (3D проекция);Авто стайлинг;Главная

 

да я помню об этом. 
по мере внедрения функционала будет реализовано. 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Логика "И" очень полезна, но работает ведь только когда есть, к примеру, одна категория и указываем .html как окончания ссылок, чтобы не захватывать лишнее. Но когда категорий не одна, тогда с чем "И", .html с категорией или категории друг с другом... не работает так. Лучше вынести эту логику, например, в третий столбец, тогда можно выставить, что окончание .html, к примеру, указано для всех категорий...

Ссылка на комментарий
Поделиться на других сайтах


13 минут назад, Axelenz сказал:

Логика "И" очень полезна, но работает ведь только когда есть, к примеру, одна категория и указываем .html как окончания ссылок, чтобы не захватывать лишнее.

нет, далеко не только. 
если нужно собрать все страницы определено категории. 

А еше если вы хотите спрасить только товары попадающие под определенный фильтры в категориях. 

Область применения довольно широкая. 

 

Цитата

Но когда категорий не одна, тогда с чем "И", .html с категорией или категории друг с другом... не работает так.

тогда включается в игру границы того чего быть не должно нужно более точно туда заносить правки. 

 

Цитата

Лучше вынести эту логику, например, в третий столбец, тогда можно выставить, что окончание .html, к примеру, указано для всех категорий...

Можно, но зачем ? 
Если логика останется таже зачем осложнять понимание. 
если кому то нужно он переключит галочку. 

Не хочу усложнять системе без веских причин. Мне  ее поддерживать )))

Ссылка на комментарий
Поделиться на других сайтах

On 11/5/2018 at 11:09 AM, Rassol2 said:

точнее. Что за проблема ? 

Добрый день и с наступающими праздниками и выходными!!!

Вопрос: у меня есть товары в магазине и артикул товара. Можно как то парсить описание для имеющегося товара в магазине по названию или артикулу? 

Ссылка на комментарий
Поделиться на других сайтах


16 минут назад, gasya сказал:

Добрый день и с наступающими праздниками и выходными!!!

Вопрос: у меня есть товары в магазине и артикул товара. Можно как то парсить описание для имеющегося товара в магазине по названию или артикулу? 

Да можно. 
Спарсить все описания и артикула. А потом при загрузке делать сравнение. Но данный модель не грузит в магазин. 
Пока не грузит. :) 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

11 minutes ago, Rassol2 said:

Да можно. 
Спарсить все описания и артикула. А потом при загрузке делать сравнение. Но данный модель не грузит в магазин. 
Пока не грузит. :) 

с hotline.ua парсит?

Ссылка на комментарий
Поделиться на других сайтах


5 минут назад, gasya сказал:

с hotline.ua парсит?

там будут проблемы с блокировкой ip при парсинге. 
Сейчас можно использовать паузу парсинга, но без VPN наверное не стоит парсить такие сайты как хотлаин или яндекс маркет. 
Они хорошо борются за то что бы их не парсили. 

Модуль бесплатен можете скачивать и пробовать.
Если что пишите сюда будем обсуждать. 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

11 minutes ago, Rassol2 said:

там будут проблемы с блокировкой ip при парсинге. 
Сейчас можно использовать паузу парсинга, но без VPN наверное не стоит парсить такие сайты как хотлаин или яндекс маркет. 
Они хорошо борются за то что бы их не парсили. 

Модуль бесплатен можете скачивать и пробовать.
Если что пишите сюда будем обсуждать. 

только увидел что 3ю версию опенкарта не поддерживает((

Ссылка на комментарий
Поделиться на других сайтах


Только что, gasya сказал:

только увидел что 3ю версию опенкарта не поддерживает((

да как то особо не до нее. 
Я за модуль не беру денег, пока что просто пишу и наслаждаюсь.

И не хочется прсто так плодить версии и делать разработку более сложнее. Пока не появится большая аудитория. 
А ее пока что нет. 
 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Цитата

И не хочется прсто так плодить версии и делать разработку более сложнее. Пока не появится большая аудитория. 
А ее пока что нет. 

Анекдот по случаю:

 

- Мама, жарьте рыбу!
- Так нету ж рыбы...
- Мама, вы жарьте, а рыба будет!

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


@Axelenz Да что то в это роде. 
когда придумаю нормальную модель для продажи модуля. Тогда переведу его в режим продажи и тогда буду уже адаптировать под все. 
А так. Обкатываем идеи. 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

В 03.11.2018 в 17:37, Rassol2 сказал:

Вдохновлялся им. И может попримеру него ещё что то прикручу. Все зависит от людей будет нужно или нет. 

точно нужно , дня 3 уже ковыряю.   ++++ вот на ночь глядя набрёл завтра буду пробовать.  спасибо за труды.  :)

Ссылка на комментарий
Поделиться на других сайтах


8 часов назад, artyr1281 сказал:

точно нужно , дня 3 уже ковыряю.   ++++ вот на ночь глядя набрёл завтра буду пробовать.  спасибо за труды.  :)

И вам спасибо. 

Ссылка на комментарий
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.