Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

только это не значит что я буду постоянно там там править настройки. Просто аж интересно. 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

17 минут назад, Rassol2 сказал:

только это не значит что я буду постоянно там там править настройки. Просто аж интересно. 

отпишите что было по итогу, интересный сериал ))

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


4 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да, если мне скинут отпишусь. Но видно человек не хочет светить домен. Значит отпишусь только получилось или нет. 

Изменено пользователем Rassol2
  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

26 минут назад, Rassol2 сказал:

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно будет сделать обмен настройками ))

В личке:geek:

Ссылка на комментарий
Поделиться на других сайтах


Ну...в общий доступ не хочется светить, да. Мало ли, ненужные вопросы даже к себе исключить))))

Там в целом то домен не важен, просто логику что не нравилось модулю и как правильно в этой ситуации надо было сделать.

Изменено пользователем rozario888
Ссылка на комментарий
Поделиться на других сайтах


54 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да получилось собрать. 
Есть тонкий момент с url у донора идет трансляций спец символов & -> &amp. Пока нету времени поправить, позже подумаю над этим. 

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &
http://joxi.ru/bmoqd6wsxgGk9A

Сейчас нужно уходит но думаю если это не сработает тогда здесь человек напишет. 

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах

10 минут назад, Rassol2 сказал:

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

Изменено пользователем rozario888
  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


3 часа назад, rozario888 сказал:

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

теперь можете набивать руку. Парсите без фильтров все ссылки затем смотрите их вводите фильтры и жмете применить фильтры. И увидите что останется. 

Обратите внимание что донор может забанить вас за аномальную активность. 
И в этом дополнении не будет сообщения о том что вы забанены. Вот это я еше не сделал. 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Добавил счетчик что бы видеть сколько ссылок было просканировано модулем. 
 

Спойлер

242751153__2018-11-08_07-10-56.thumb.png.3c48d0ea278a4de719a3fd0de4a1d43f.png

 

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах

37 минут назад, Vorodisa сказал:

прикольная тема )))) 

спасибо. 

Ссылка на комментарий
Поделиться на других сайтах

В 06.11.2018 в 17:03, Rassol2 сказал:

Обратите внимание что донор может забанить вас за аномальную активность. 

А не планируется добавление лимита на количество запросов?

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, SiteMix сказал:

А не планируется добавление лимита на количество запросов?

подробнее напишите что да как может запилю. 

Ссылка на комментарий
Поделиться на других сайтах

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

Ссылка на комментарий
Поделиться на других сайтах


3 минуты назад, SiteMix сказал:

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

Это уже реализовано. 
http://joxi.ru/52aayNMS4J8612

Пауза парсинга указывается в ручную. 
шаг одна секунда. 
0 - нету.
4 - четыре секунды. 
 

Изменено пользователем Rassol2
  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

1 минуту назад, SiteMix сказал:

Ясно, спасибо за пояснение. Модуль пока не установлен, только почитываю о нём.

этот модуль я начал писать что бы набить свои шишки на будущее. 
Я его не продвигаю и не говорю что он идеален. С ним возможны проблемы. Так что ставьте только если есть желание поиграться )

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

  • 3 недели спустя...

Почему нельзя использовать на боевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. работает )) 

Ссылка на комментарий
Поделиться на других сайтах


А как будет работать модуль, если при повторном загрузке какого-то сайта, некоторые товары на нём исчезли. Он их оставит или выпилит?

Ссылка на комментарий
Поделиться на других сайтах


7 часов назад, Vorodisa сказал:

Почему нельзя использовать на боевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. работает )) 

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал B)

Ссылка на комментарий
Поделиться на других сайтах

4 часа назад, Eretik сказал:

А как будет работать модуль, если при повторном загрузке какого-то сайта, некоторые товары на нём исчезли. Он их оставит или выпилит?

если вы имеете в виду сбор ссылок. То если их нету на сайте то и модуль их не может собрать.

Ссылка на комментарий
Поделиться на других сайтах

4 часа назад, Rassol2 сказал:

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал B)

Хорошо )) Ну работает, вроде сбоев нет. 

Ссылка на комментарий
Поделиться на других сайтах


Появилось немного свободного времени прикрутил еше счетчик сканирования в реальном времени. 
То есть что бы после нажатия старт видеть прогресс сбора ссылок. 
А то получается после нажатия старт не понимаешь что происходит. 
Выглядеть это будет так.
1453572621__2018-11-30_00-26-07.thumb.png.968cafbafdbe2ff4a2c18bc6275af273.png

Единственный косяк. Я не могу сейчас вам выкатить это обновление. Пока не доделаю новую версию. :( 

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах

7 часов назад, Rassol2 сказал:

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

Есть такие ))) Играюсь, вполне отличное дополнение к АОП

 

Ссылка на комментарий
Поделиться на других сайтах


Надеюсь, критика и предложения воспринимается нормально...

 

Дошли руки, решил затестить. Установил версию SimplePars-0.1. Погнали...

1. Предупреждение, которое встречает при первом открытии модуля: "У вас нету созданных доноров." звучит не очень...

Быть может, лучше так: "У вас пока нет проектов."? И ещё не хватает пробела между значком и текстом.

2. Версия которая отображается - v0.01. Напомню, я скачал версию v0.1. Кстати, в предыдущей имеющейся у меня версии

SimplePars-0.02 высвечивается та же v0.01. Версия указана в файле локализации и, наверное, при выходе новой версии

забывается что нужно нумерацию подправить.

Вероятно, есть смысл перенести нумерацию в какой-то другой файл и менять её с изменением версии.

3. Не смотря на разделение папок по версиям движка, в папках для каждой версии присутствуют файлы локализации как для 2.1, так и для 2.3

4. Создал  донора  проект. Страница вся в кракозябрах... Думал с кодировкой что-то и проверил все файлы в дистрибутиве. Все нормальные...

Ещё так бывает при ошибке, но ошибки в верху не видно. Однако в журнале она есть:

"2018-11-30 9:03:51 - PHP Notice:  Undefined variable: userinput in Z:\home\os23.local\www\admin\controller\catalog\simplepars.php on line 67"

 

Делать нечего, накатил файлы от версии 0.02. Обновил страницу. Ошибок нет.

 

Пока всё, буду пробовать дальше.

 

 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.