[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Работаем по потихоньку.  

[ArgoDon]

обновил модуль, один из сайтов доноров , не хочет в окне просмотра отображатся - http://prntscr.com/n1wdn9

 

Змінено 23 березня 2019 користувачем ArgoDon

[Rassol2]

1 час назад, ArgoDon сказал:

обновил модуль, один из сайтов доноров , не хочет в окне просмотра отображатся - http://prntscr.com/n1wdn9

 

Чуть позже буду за рабочем местом всё проверю. Пришлите мне в ЛС доменное имя и я проверю . И исправлю. 

[Rassol2]

7 часов назад, ArgoDon сказал:

обновил модуль, один из сайтов доноров , не хочет в окне просмотра отображатся - http://prntscr.com/n1wdn9

 

Ошибку нашел но не в моем модуле. 

Если у кого то еше будет подобное, обратите внимание на такой значок в браузере Chrome в конце адресной строки.

 

Нажмите на него и затем вы увидите.


это значит что ваш браузер считает донора не безопасным. Я не знаю прав он или нет. Так что ......
Данное действие разрешит браузеру открыть сайт донор в iframe. То есть это ограничение в самом браузере.

Если кто столкнется будете знать.

Разрешать это и ли нет я не буду обсуждать, все действия делаете по собственной воле, и сами несете ответственность. 

[ArgoDon]

@Rassol2  Спасибо!  все ок!

[yuraco]

будет ли модуль под 3ку?

[Rassol2]

2 минуты назад, yuraco сказал:

будет ли модуль под 3ку?

Да. В версии 2.5 запланировано. 
После выхода второй проверка всех функций, исправления багов. А затем адаптация на разные версии. 

[Rassol2]

В течении месяца уже выложу версию 2 

[stas2010]

5 часов назад, Rassol2 сказал:

В течении месяца уже выложу версию 2 

ждемс, усиленно тестируем  

[SLASH]

Скажите, с этого сайта возможно спарсить товары, особенно интересуют ссылки на фото и видео, т.к. ссылок не наблюдаю на странице вообще.

[Rassol2]

12 минут назад, SLASH сказал:

Скажите, с этого сайта возможно спарсить товары, особенно интересуют ссылки на фото и видео, т.к. ссылок не наблюдаю на странице вообще.

При беглом просмотре проблем не вижу. 
Вот как открывается настройки границы парсинга. 
http://joxi.ru/nAyxapEfgaqlO2

[Rassol2]

@SLASH

1 час назад, SLASH сказал:

Скажите, с этого сайта возможно спарсить товары, особенно интересуют ссылки на фото и видео, т.к. ссылок не наблюдаю на странице вообще.

Довольно интересный сайт. 
Во первых отдам дань разработчикам. Действительно сделали красиво, и для парсинга он сложный. 
Но я нашел решение. Сейчас покажу что у меня получилось дернуть с него. 

[Rassol2]

@SLASH

1 час назад, SLASH сказал:

Скажите, с этого сайта возможно спарсить товары, особенно интересуют ссылки на фото и видео, т.к. ссылок не наблюдаю на странице вообще.

Вот так я смог настроить. И получить вот такой результат. 
так же можно было спарсить и другую информацию к примеру опции. Но уже на стал тратить время. 
price-44.csv

[Rassol2]

16 минут назад, Rassol2 сказал:

@SLASH

Вот так я смог настроить. И получить вот такой результат. 
так же можно было спарсить и другую информацию к примеру опции. Но уже на стал тратить время. 
price-44.csv

Я не совсем верно настроил атрибуты. Там "косячок". Но это мелочи кто будет настраивать сделал правильно . Сам факт что все можно парсить и отправлять прямиком в АОП 

[SLASH]

Буду пробовать вашим модулем, сейчас пользую Турбопарсер, но там вечно косяки, а чтобы их исправить приходится жаловаться сначала администрации сайта, а потом ждать. Уже надоело.

[Rassol2]

38 минут назад, SLASH сказал:

Буду пробовать вашим модулем, сейчас пользую Турбопарсер, но там вечно косяки, а чтобы их исправить приходится жаловаться сначала администрации сайта, а потом ждать. Уже надоело.

Пробуйте. Думаю у вас все получится. 

[alexspb278]

Превосходный модуль, дай бог вам здоровья!

Лучше не придумаешь

[Rassol2]

43 минуты назад, alexspb278 сказал:

Превосходный модуль, дай бог вам здоровья!

Лучше не придумаешь

Спасибо, за ваш отзыв. 

[timon2511]

Подскажи, знаю что модуль АОП для загрузки категорий, имеет свою нелепую форму, перевернутую, категории от обратной, например:

Категория4 | Категория3 | Категория 2 | Категория1

Категория3 | Категория 2 | Категория1

Категория4 | Категория3 | Категория 2 | Категория1

Категория 2 | Категория1

 

В вашем же модуле я наблюдаю сбор ссылок на категории, стандартный как и в большинства парсеров datacol и тд...

Спойлер

 

как же тогда собрать категории так что бы одним махом загрузить через АОП?

[Rassol2]

23 минуты назад, timon2511 сказал:

Подскажи, знаю что модуль АОП для загрузки категорий, имеет свою нелепую форму, перевернутую, категории от обратной, например:

Категория4 | Категория3 | Категория 2 | Категория1

Категория3 | Категория 2 | Категория1

Категория4 | Категория3 | Категория 2 | Категория1

Категория 2 | Категория1

 

В вашем же модуле я наблюдаю сбор ссылок на категории, стандартный как и в большинства парсеров datacol и тд...

  Показать контент

 

как же тогда собрать категории так что бы одним махом загрузить через АОП?

К сожалению тут вы правы. 
Модуль имеет стандартную систему вывода категорий от первой и дальше. 
И с этим все равно нужно немного ручками поработать и прайс доработать для загрузки в АОП
Полностью бесшовной реализации пока нету. По мелочи есть необходимость заглядывать в прайс.

Я реализовал свою систему работы с категориями, с которой познакомлю всех в ближайшие недели. Если вам покажется недостаточным тот алгоритм что я придумал тогда напишите и я внедрю обратный вывод категорий в прайс. 

 

ЗЫ. Я его так или иначе сделаю просто это сейчас не главная задача.

[Rassol2]

Обновление 1.3.2-3

Сегодня мне напомнили о действительно простой но забытой функции, которую грех не добавить. 

В поиске ссылок добавлена кнопка которая возвращает в очередь сканирования ссылки которые уже были просканированы. 
Назвал ее "Вернуть ссылки в очередь сканирования" 
Будут идеи говорите переименуем. 

Допустим у вас есть 3 категории которые вы всегда проверяете на наличие новых товаров. Не считая пагинации новые ссылки в очередь сканирования не нужно добавлять. 
Так вот раньше вам приходилось удалять все ссылки и начинать сбор ссылок сначала. И уже в них собирать ссылки на товар. 

Теперь вы можете просканировать увидеть 10 ссылок на товар. Завтра нажать кнопку "Вернуть ссылки в очередь сканирования"  и снова просканировать те же ссылки на предмет появления новых товаров. Грубо говоря мы избавились от лишних обращений к сайту донору. 
Почему я так раньше не сделал не знаю. 

http://joxi.ru/l2ZR7KafzRdk72

http://joxi.ru/brR53gVT7LZVBA

[timon2511]

24 минуты назад, Rassol2 сказал:

К сожалению тут вы правы. 
Модуль имеет стандартную систему вывода категорий от первой и дальше. 
И с этим все равно нужно немного ручками поработать и прайс доработать для загрузки в АОП
Полностью бесшовной реализации пока нету. По мелочи есть необходимость заглядывать в прайс.

Я реализовал свою систему работы с категориями, с которой познакомлю всех в ближайшие недели. Если вам покажется недостаточным тот алгоритм что я придумал тогда напишите и я внедрю обратный вывод категорий в прайс. 

 

ЗЫ. Я его так или иначе сделаю просто это сейчас не главная задача.

Я уже на протяжении долгого времени не могу понять логику автора АОП, зачем делать именно такой способ загрузки категорий.

Нашел способ, как собрать ссылки с сайта за 15-30 мин.

Разобрался в методе парса АОП, настраивают за 5 мин.

Но вот эти категории меня убивают наповал, каждый раз приходиться править руками...

 

[Rassol2]

4 минуты назад, timon2511 сказал:

Я уже на протяжении долгого времени не могу понять логику автора АОП, зачем делать именно такой способ загрузки категорий.

Нашел способ, как собрать ссылки с сайта за 15-30 мин.

Разобрался в методе парса АОП, настраивают за 5 мин.

Но вот эти категории меня убивают наповал, каждый раз приходиться править руками...

 

Значит подписывайтесь. Вторая версия вам понравится. 

[Rassol2]

Трейлер версии 2

 

Ну что господа. Закончил я этой ночью вторую версию модуля. Сейчас приступаю к написанию инструкции. 
Как только будет готова хотя бы минимальная инструкция я выложу версию номер 2. 

А теперь немного подогрею интерес. 

 

Как все уже знаю вторая версия посвящена загрузке товара сразу в магазин. И обновления товара. 
И немного скриншотов. 

Пред просмотр загрузки товаров в магазин.

 

Логи вынес из директории /admin/uploads/ не хорошо захламлять ее. И убрал файлы логов в стандартную директорию опенкарт /system/storage/logs/simplepars_3.log
Поскольку я понимаю что от туда попросить у пользователя прочесть логи будет не реально, добавил еше вкладку Логи.

Новая вкладка Логи


Все а я побежал. Писать инструкцию к новой версии. 

[Nomandvs]

1 час назад, Rassol2 сказал:

Трейлер версии 2

 

Ну что господа. Закончил я этой ночью вторую версию модуля. Сейчас приступаю к написанию инструкции. 
Как только будет готова хотя бы минимальная инструкция я выложу версию номер 2. 

А теперь немного подогрею интерес. 

 

Как все уже знаю вторая версия посвящена загрузке товара сразу в магазин. И обновления товара. 
И немного скриншотов. 

Пред просмотр загрузки товаров в магазин.

 

Логи вынес из директории /admin/uploads/ не хорошо захламлять ее. И убрал файлы логов в стандартную директорию опенкарт /system/storage/logs/simplepars_3.log
Поскольку я понимаю что от туда попросить у пользователя прочесть логи будет не реально, добавил еше вкладку Логи.

Новая вкладка Логи


Все а я побежал. Писать инструкцию к новой версии. 

Аплодирую =)

За одну только вкладку прямого парсинга в ИМ готов купить две копии.