[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

только это не значит что я буду постоянно там там править настройки. Просто аж интересно. 

[Vorodisa]

17 минут назад, Rassol2 сказал:

только это не значит что я буду постоянно там там править настройки. Просто аж интересно. 

отпишите что было по итогу, интересный сериал ))

[Rassol2]

4 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да, если мне скинут отпишусь. Но видно человек не хочет светить домен. Значит отпишусь только получилось или нет. 

Змінено 6 листопада 2018 користувачем Rassol2

[rozario888]

26 минут назад, Rassol2 сказал:

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно будет сделать обмен настройками ))

В личке

[rozario888]

Ну...в общий доступ не хочется светить, да. Мало ли, ненужные вопросы даже к себе исключить))))

Там в целом то домен не важен, просто логику что не нравилось модулю и как правильно в этой ситуации надо было сделать.

Змінено 6 листопада 2018 користувачем rozario888

[Rassol2]

54 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да получилось собрать. 
Есть тонкий момент с url у донора идет трансляций спец символов & -> &amp. Пока нету времени поправить, позже подумаю над этим. 

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &
http://joxi.ru/bmoqd6wsxgGk9A

Сейчас нужно уходит но думаю если это не сработает тогда здесь человек напишет. 

[rozario888]

10 минут назад, Rassol2 сказал:

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

Змінено 6 листопада 2018 користувачем rozario888

[Rassol2]

3 часа назад, rozario888 сказал:

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

теперь можете набивать руку. Парсите без фильтров все ссылки затем смотрите их вводите фильтры и жмете применить фильтры. И увидите что останется. 

Обратите внимание что донор может забанить вас за аномальную активность. 
И в этом дополнении не будет сообщения о том что вы забанены. Вот это я еше не сделал. 

[Rassol2]

Добавил счетчик что бы видеть сколько ссылок было просканировано модулем. 
 

Спойлер

 

[Vorodisa]

прикольная тема )))) 

[Rassol2]

37 минут назад, Vorodisa сказал:

прикольная тема )))) 

спасибо. 

[SiteMix]

В 06.11.2018 в 17:03, Rassol2 сказал:

Обратите внимание что донор может забанить вас за аномальную активность. 

А не планируется добавление лимита на количество запросов?

[Rassol2]

1 минуту назад, SiteMix сказал:

А не планируется добавление лимита на количество запросов?

подробнее напишите что да как может запилю. 

[SiteMix]

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

[Rassol2]

3 минуты назад, SiteMix сказал:

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

Это уже реализовано. 
http://joxi.ru/52aayNMS4J8612

Пауза парсинга указывается в ручную. 
шаг одна секунда. 
0 - нету.
4 - четыре секунды. 
 

Змінено 8 листопада 2018 користувачем Rassol2

[SiteMix]

Ясно, спасибо за пояснение. Модуль пока не установлен, только почитываю о нём.

[Rassol2]

1 минуту назад, SiteMix сказал:

Ясно, спасибо за пояснение. Модуль пока не установлен, только почитываю о нём.

этот модуль я начал писать что бы набить свои шишки на будущее. 
Я его не продвигаю и не говорю что он идеален. С ним возможны проблемы. Так что ставьте только если есть желание поиграться )

[Vorodisa]

Почему нельзя использовать на боевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. работает )) 

[Eretik]

А как будет работать модуль, если при повторном загрузке какого-то сайта, некоторые товары на нём исчезли. Он их оставит или выпилит?

[Rassol2]

7 часов назад, Vorodisa сказал:

Почему нельзя использовать на боевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. работает )) 

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал 

[Rassol2]

4 часа назад, Eretik сказал:

А как будет работать модуль, если при повторном загрузке какого-то сайта, некоторые товары на нём исчезли. Он их оставит или выпилит?

если вы имеете в виду сбор ссылок. То если их нету на сайте то и модуль их не может собрать.

[Vorodisa]

4 часа назад, Rassol2 сказал:

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал 

Хорошо )) Ну работает, вроде сбоев нет. 

[Rassol2]

Появилось немного свободного времени прикрутил еше счетчик сканирования в реальном времени. 
То есть что бы после нажатия старт видеть прогресс сбора ссылок. 
А то получается после нажатия старт не понимаешь что происходит. 
Выглядеть это будет так.


Единственный косяк. Я не могу сейчас вам выкатить это обновление. Пока не доделаю новую версию.  

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

[Vorodisa]

7 часов назад, Rassol2 сказал:

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

Есть такие ))) Играюсь, вполне отличное дополнение к АОП

 

[SiteMix]

Надеюсь, критика и предложения воспринимается нормально...

 

Дошли руки, решил затестить. Установил версию SimplePars-0.1. Погнали...

1. Предупреждение, которое встречает при первом открытии модуля: "У вас нету созданных доноров." звучит не очень...

Быть может, лучше так: "У вас пока нет проектов."? И ещё не хватает пробела между значком и текстом.

2. Версия которая отображается - v0.01. Напомню, я скачал версию v0.1. Кстати, в предыдущей имеющейся у меня версии

SimplePars-0.02 высвечивается та же v0.01. Версия указана в файле локализации и, наверное, при выходе новой версии

забывается что нужно нумерацию подправить.

Вероятно, есть смысл перенести нумерацию в какой-то другой файл и менять её с изменением версии.

3. Не смотря на разделение папок по версиям движка, в папках для каждой версии присутствуют файлы локализации как для 2.1, так и для 2.3

4. Создал  донора  проект. Страница вся в кракозябрах... Думал с кодировкой что-то и проверил все файлы в дистрибутиве. Все нормальные...

Ещё так бывает при ошибке, но ошибки в верху не видно. Однако в журнале она есть:

"2018-11-30 9:03:51 - PHP Notice:  Undefined variable: userinput in Z:\home\os23.local\www\admin\controller\catalog\simplepars.php on line 67"

 

Делать нечего, накатил файлы от версии 0.02. Обновил страницу. Ошибок нет.

 

Пока всё, буду пробовать дальше.