[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

только это не значит что я буду постоянно там там править настройки. Просто аж интересно. 

[Vorodisa]

17 минут назад, Rassol2 сказал:

только это не значит что я буду постоянно там там править настройки. Просто аж интересно. 

отпишите что было по итогу, интересный сериал ))

[Rassol2]

4 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да, если мне скинут отпишусь. Но видно человек не хочет светить домен. Значит отпишусь только получилось или нет. 

Edited November 6, 2018 by Rassol2

[rozario888]

26 минут назад, Rassol2 сказал:

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно будет сделать обмен настройками ))

В личке

[rozario888]

Ну...в общий доступ не хочется светить, да. Мало ли, ненужные вопросы даже к себе исключить))))

Там в целом то домен не важен, просто логику что не нравилось модулю и как правильно в этой ситуации надо было сделать.

Edited November 6, 2018 by rozario888

[Rassol2]

54 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да получилось собрать. 
Есть тонкий момент с url у донора идет трансляций спец символов & -> &amp. Пока нету времени поправить, позже подумаю над этим. 

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &
http://joxi.ru/bmoqd6wsxgGk9A

Сейчас нужно уходит но думаю если это не сработает тогда здесь человек напишет. 

[rozario888]

10 минут назад, Rassol2 сказал:

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

Edited November 6, 2018 by rozario888

[Rassol2]

3 часа назад, rozario888 сказал:

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

теперь можете набивать руку. Парсите без фильтров все ссылки затем смотрите их вводите фильтры и жмете применить фильтры. И увидите что останется. 

Обратите внимание что донор может забанить вас за аномальную активность. 
И в этом дополнении не будет сообщения о том что вы забанены. Вот это я еше не сделал. 

[Rassol2]

Добавил счетчик что бы видеть сколько ссылок было просканировано модулем. 
 

Спойлер

 

[Vorodisa]

прикольная тема )))) 

[Rassol2]

37 минут назад, Vorodisa сказал:

прикольная тема )))) 

спасибо. 

[SiteMix]

В 06.11.2018 в 17:03, Rassol2 сказал:

Обратите внимание что донор может забанить вас за аномальную активность. 

А не планируется добавление лимита на количество запросов?

[Rassol2]

1 минуту назад, SiteMix сказал:

А не планируется добавление лимита на количество запросов?

подробнее напишите что да как может запилю. 

[SiteMix]

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

[Rassol2]

3 минуты назад, SiteMix сказал:

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

Это уже реализовано. 
http://joxi.ru/52aayNMS4J8612

Пауза парсинга указывается в ручную. 
шаг одна секунда. 
0 - нету.
4 - четыре секунды. 
 

Edited November 8, 2018 by Rassol2

[SiteMix]

Ясно, спасибо за пояснение. Модуль пока не установлен, только почитываю о нём.

[Rassol2]

1 минуту назад, SiteMix сказал:

Ясно, спасибо за пояснение. Модуль пока не установлен, только почитываю о нём.

этот модуль я начал писать что бы набить свои шишки на будущее. 
Я его не продвигаю и не говорю что он идеален. С ним возможны проблемы. Так что ставьте только если есть желание поиграться )

[Vorodisa]

Почему нельзя использовать на боевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. работает )) 

[Eretik]

А как будет работать модуль, если при повторном загрузке какого-то сайта, некоторые товары на нём исчезли. Он их оставит или выпилит?

[Rassol2]

7 часов назад, Vorodisa сказал:

Почему нельзя использовать на боевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. работает )) 

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал 

[Rassol2]

4 часа назад, Eretik сказал:

А как будет работать модуль, если при повторном загрузке какого-то сайта, некоторые товары на нём исчезли. Он их оставит или выпилит?

если вы имеете в виду сбор ссылок. То если их нету на сайте то и модуль их не может собрать.

[Vorodisa]

4 часа назад, Rassol2 сказал:

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал 

Хорошо )) Ну работает, вроде сбоев нет. 

[Rassol2]

Появилось немного свободного времени прикрутил еше счетчик сканирования в реальном времени. 
То есть что бы после нажатия старт видеть прогресс сбора ссылок. 
А то получается после нажатия старт не понимаешь что происходит. 
Выглядеть это будет так.


Единственный косяк. Я не могу сейчас вам выкатить это обновление. Пока не доделаю новую версию.  

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

[Vorodisa]

7 часов назад, Rassol2 сказал:

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

Есть такие ))) Играюсь, вполне отличное дополнение к АОП

 

[SiteMix]

Надеюсь, критика и предложения воспринимается нормально...

 

Дошли руки, решил затестить. Установил версию SimplePars-0.1. Погнали...

1. Предупреждение, которое встречает при первом открытии модуля: "У вас нету созданных доноров." звучит не очень...

Быть может, лучше так: "У вас пока нет проектов."? И ещё не хватает пробела между значком и текстом.

2. Версия которая отображается - v0.01. Напомню, я скачал версию v0.1. Кстати, в предыдущей имеющейся у меня версии

SimplePars-0.02 высвечивается та же v0.01. Версия указана в файле локализации и, наверное, при выходе новой версии

забывается что нужно нумерацию подправить.

Вероятно, есть смысл перенести нумерацию в какой-то другой файл и менять её с изменением версии.

3. Не смотря на разделение папок по версиям движка, в папках для каждой версии присутствуют файлы локализации как для 2.1, так и для 2.3

4. Создал  донора  проект. Страница вся в кракозябрах... Думал с кодировкой что-то и проверил все файлы в дистрибутиве. Все нормальные...

Ещё так бывает при ошибке, но ошибки в верху не видно. Однако в журнале она есть:

"2018-11-30 9:03:51 - PHP Notice:  Undefined variable: userinput in Z:\home\os23.local\www\admin\controller\catalog\simplepars.php on line 67"

 

Делать нечего, накатил файлы от версии 0.02. Обновил страницу. Ошибок нет.

 

Пока всё, буду пробовать дальше.