Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

только это не значит что я буду постоянно там там править настройки. Просто аж интересно. 

  • +1 1
Надіслати
Поділитися на інших сайтах

17 минут назад, Rassol2 сказал:

только это не значит что я буду постоянно там там править настройки. Просто аж интересно. 

отпишите что было по итогу, интересный сериал ))

  • +1 1
Надіслати
Поділитися на інших сайтах


4 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да, если мне скинут отпишусь. Но видно человек не хочет светить домен. Значит отпишусь только получилось или нет. 

Змінено користувачем Rassol2
  • +1 1
Надіслати
Поділитися на інших сайтах

26 минут назад, Rassol2 сказал:

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно будет сделать обмен настройками ))

В личке:geek:

Надіслати
Поділитися на інших сайтах


Ну...в общий доступ не хочется светить, да. Мало ли, ненужные вопросы даже к себе исключить))))

Там в целом то домен не важен, просто логику что не нравилось модулю и как правильно в этой ситуации надо было сделать.

Змінено користувачем rozario888
Надіслати
Поділитися на інших сайтах


54 минуты назад, Vorodisa сказал:

отпишите что было по итогу, интересный сериал ))

да получилось собрать. 
Есть тонкий момент с url у донора идет трансляций спец символов & -> &amp. Пока нету времени поправить, позже подумаю над этим. 

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &
http://joxi.ru/bmoqd6wsxgGk9A

Сейчас нужно уходит но думаю если это не сработает тогда здесь человек напишет. 

  • +1 2
Надіслати
Поділитися на інших сайтах

10 минут назад, Rassol2 сказал:

Но все равно хватило функционала что бы обойти это проблему настроив более точно фильтры в обход символа &

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

Змінено користувачем rozario888
  • +1 1
Надіслати
Поділитися на інших сайтах


3 часа назад, rozario888 сказал:

Да, выгрузились все 1 к 1 со всех страниц. Функционала хватает на 100%, а вот собственных компетенций - нет)) Я бы до такого костыля не додумался. 

Может проблема в том, что стартовая ссылка получена через фильтр (отбор) на сайте. Попробую по обычной ссылке на категорию с фильтром по брендам в модуле скачать. 

Просто в первом случае немного проще, что все уже отобрано и только фильтр на дальнейшие страницы указать

теперь можете набивать руку. Парсите без фильтров все ссылки затем смотрите их вводите фильтры и жмете применить фильтры. И увидите что останется. 

Обратите внимание что донор может забанить вас за аномальную активность. 
И в этом дополнении не будет сообщения о том что вы забанены. Вот это я еше не сделал. 

  • +1 1
Надіслати
Поділитися на інших сайтах

Добавил счетчик что бы видеть сколько ссылок было просканировано модулем. 
 

Спойлер

242751153__2018-11-08_07-10-56.thumb.png.3c48d0ea278a4de719a3fd0de4a1d43f.png

 

  • +1 2
Надіслати
Поділитися на інших сайтах

37 минут назад, Vorodisa сказал:

прикольная тема )))) 

спасибо. 

Надіслати
Поділитися на інших сайтах

В 06.11.2018 в 17:03, Rassol2 сказал:

Обратите внимание что донор может забанить вас за аномальную активность. 

А не планируется добавление лимита на количество запросов?

Надіслати
Поділитися на інших сайтах


1 минуту назад, SiteMix сказал:

А не планируется добавление лимита на количество запросов?

подробнее напишите что да как может запилю. 

Надіслати
Поділитися на інших сайтах

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

Надіслати
Поділитися на інших сайтах


3 минуты назад, SiteMix сказал:

Я имею в виду, ограничение кол-ва запросов в секунду (или что-то подобное) чтобы донор не банил. Подробней не напишу - не программист.

Как вариант, пауза как в АОП. Только значения нужны не такие большие как в АОП. Нужно значительно меньше секунды.

Это уже реализовано. 
http://joxi.ru/52aayNMS4J8612

Пауза парсинга указывается в ручную. 
шаг одна секунда. 
0 - нету.
4 - четыре секунды. 
 

Змінено користувачем Rassol2
  • +1 1
Надіслати
Поділитися на інших сайтах

1 минуту назад, SiteMix сказал:

Ясно, спасибо за пояснение. Модуль пока не установлен, только почитываю о нём.

этот модуль я начал писать что бы набить свои шишки на будущее. 
Я его не продвигаю и не говорю что он идеален. С ним возможны проблемы. Так что ставьте только если есть желание поиграться )

  • +1 1
Надіслати
Поділитися на інших сайтах

  • 3 weeks later...
7 часов назад, Vorodisa сказал:

Почему нельзя использовать на боевом проекте ? 

 

Пока начал тестировать на пустом сайте opencart pro версии. работает )) 

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал B)

Надіслати
Поділитися на інших сайтах

4 часа назад, Eretik сказал:

А как будет работать модуль, если при повторном загрузке какого-то сайта, некоторые товары на нём исчезли. Он их оставит или выпилит?

если вы имеете в виду сбор ссылок. То если их нету на сайте то и модуль их не может собрать.

Надіслати
Поділитися на інших сайтах

4 часа назад, Rassol2 сказал:

в модуле нету ничего что может навредить остальному функционалу. 
Дотошно ничего не тестировалось. И не хочется слышать что у кого то серьезные проблемы после установки. 

Это предупреждение дает мне право к отсылке на "пятую поправку" я предупреждал B)

Хорошо )) Ну работает, вроде сбоев нет. 

Надіслати
Поділитися на інших сайтах


Появилось немного свободного времени прикрутил еше счетчик сканирования в реальном времени. 
То есть что бы после нажатия старт видеть прогресс сбора ссылок. 
А то получается после нажатия старт не понимаешь что происходит. 
Выглядеть это будет так.
1453572621__2018-11-30_00-26-07.thumb.png.968cafbafdbe2ff4a2c18bc6275af273.png

Единственный косяк. Я не могу сейчас вам выкатить это обновление. Пока не доделаю новую версию. :( 

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

  • +1 2
Надіслати
Поділитися на інших сайтах

7 часов назад, Rassol2 сказал:

Но если есть люди кто играется с этим модулем тогда подготовлю обновление именно это фишки и выкачу. 

Есть такие ))) Играюсь, вполне отличное дополнение к АОП

 

Надіслати
Поділитися на інших сайтах


Надеюсь, критика и предложения воспринимается нормально...

 

Дошли руки, решил затестить. Установил версию SimplePars-0.1. Погнали...

1. Предупреждение, которое встречает при первом открытии модуля: "У вас нету созданных доноров." звучит не очень...

Быть может, лучше так: "У вас пока нет проектов."? И ещё не хватает пробела между значком и текстом.

2. Версия которая отображается - v0.01. Напомню, я скачал версию v0.1. Кстати, в предыдущей имеющейся у меня версии

SimplePars-0.02 высвечивается та же v0.01. Версия указана в файле локализации и, наверное, при выходе новой версии

забывается что нужно нумерацию подправить.

Вероятно, есть смысл перенести нумерацию в какой-то другой файл и менять её с изменением версии.

3. Не смотря на разделение папок по версиям движка, в папках для каждой версии присутствуют файлы локализации как для 2.1, так и для 2.3

4. Создал  донора  проект. Страница вся в кракозябрах... Думал с кодировкой что-то и проверил все файлы в дистрибутиве. Все нормальные...

Ещё так бывает при ошибке, но ошибки в верху не видно. Однако в журнале она есть:

"2018-11-30 9:03:51 - PHP Notice:  Undefined variable: userinput in Z:\home\os23.local\www\admin\controller\catalog\simplepars.php on line 67"

 

Делать нечего, накатил файлы от версии 0.02. Обновил страницу. Ошибок нет.

 

Пока всё, буду пробовать дальше.

 

 

  • +1 1
Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.