Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Обновление v3.0-1


Рекомендую всем обновится что бы не было проблем с появлением белого экрана при входе в модуль.
Исправления ошибок авторизации модуля.

Надіслати
Поділитися на інших сайтах

2 минуты назад, Alexrosy сказал:

Так, а что теперь ключ нужен к модулю? Можно мне в лс. Или надо предоставить еще какие-то данные о покупке?

Да можно.
выслал в ЛС

Надіслати
Поділитися на інших сайтах

Обновление 3.0-2_beta

Снова открыта тестовая ветка туда буду заносить все.

В этой версии навел немного порядок, и сделал мелки правки для удобства. О которых вы меня просили.
 

1. По просьбе @Axelenz  при удалении ссылок из очереди сканирования, или списка ссылок на товар появляется модульное окно с подтверждением действия.
Да бы исключить случайное удаление ссылок.

Спойлер

acDJ9sb.png


2. Во всех местах где фигурируют границы парсинга теперь есть и их ключи в виде {gran_*}
на сколько это было возможно.
 

Спойлер

JXCzbxM.png

===========================================

Для поиск замены тоже.

===========================================

Efx1dhS.png

 

3. При установки и обновлении модуля по умолчанию устанавливается версия под PHP 5.6 и 7.0 после чего у людей перестает работать модуль, если у них версия php выше.
По этому теперь при  выполнении inst.php все пользователи использующие php > 7.0 Будут получать напоминание что необходимо докинуть нужные файлы. С указанием версии php у вас установлена. Надеюсь это сократить вопросы :)
 

Спойлер

DDmuHog.png

 

4. Исправлены мелочи связанные с сообщениями в прокси чекере

 

  • +1 1
Надіслати
Поділитися на інших сайтах

подскажите как выбираются прокси, при каждом запросе используется новый прокси из списка, или один прокси на один сеанс парсинга. или в случае блокировки берется следующий?, поясните пож-та 

Надіслати
Поділитися на інших сайтах


1 минуту назад, sotavip сказал:

подскажите как выбираются прокси, при каждом запросе используется новый прокси из списка, или один прокси на один сеанс парсинга. или в случае блокировки берется следующий?, поясните пож-та 

Здравствуйте.
 

Если у вас в списке только один прокси, тогда он работает на все запросы.
Если список тогда логика такова.

При формировании запроса модуль рандомно берет один прокси из списка. И выполняет с ним запрос.
На следующий запрос модуль опять берет рандомно один из прокси.

Причем нужно понимать что под одним запросом подразумевается как парсинг одной ссылки в однопоточном режиме.
Так и парсинг пяти ссылок в много поточном режиме с пятью потоками.

То есть одни прокси берется на одну итерацию, и меняется.

Надіслати
Поділитися на інших сайтах

В 11.01.2020 в 23:59, BJIAD сказал:

Добрый день. 

 

С али работает данный модуль?

 

с али парсит короткое текстовое описание характеристик с названиями, категориями и т.д., что вполне допусти и достаточно для некоторых задач, но фото товара при первом парсинге все ок , при втором заходе вместо некоторых фото подгружаются белые картинки. Думаю этот вопрос вполне решаем с помощью модуля для обхода этой защиты совместно, есть идеи мысли, предлагайте

большинство крупных маркет плейсов имеют защиту, просто надо подумать...

Надіслати
Поділитися на інших сайтах


53 минуты назад, Rassol2 сказал:

Здравствуйте.
 

Если у вас в списке только один прокси, тогда он работает на все запросы.
Если список тогда логика такова.

При формировании запроса модуль рандомно берет один прокси из списка. И выполняет с ним запрос.
На следующий запрос модуль опять берет рандомно один из прокси.

Причем нужно понимать что под одним запросом подразумевается как парсинг одной ссылки в однопоточном режиме.
Так и парсинг пяти ссылок в много поточном режиме с пятью потоками.

То есть одни прокси берется на одну итерацию, и меняется.

 

т.е. при много поточном режиме с пять потоками будет использоваться один прокси из списка, или каждый поток отдельный прокси будет использоваться?

Змінено користувачем sotavip
Надіслати
Поділитися на інших сайтах


13 минут назад, sotavip сказал:

 

т.е. при много поточном режиме с пять потоками будет использоваться один прокси из списка, или каждый поток отдельный прокси будет использоваться

Эх а вроде ясно обьяснил.

ну да ладно.

Вводная, сейчас мы говорим об много поточности.

 

Схематично как то так.

Спойлер

RZqICJK.png

 

Один запрос, в рамках модуля это один красный квадратик. В запросе может быть сколько угодно ссылок. от 1 до 5 - (много поточность в рамка модуля SimplePars)
Так вот в желтом квадрате попробовал изобразить список прокси.

Прокси выдается рандомно на один запрос.
Запрос в свою очередь содержит столько ссылок сколько у вас потоков.

Отсюда и получается, один проксы выдается на один запрос в котором может быть от 1 до 5 ссылок взависимости от потока.
Обрабатывает их и меняется.


Надеюсь понятно ?

  • +1 1
Надіслати
Поділитися на інших сайтах

 

50 минут назад, sotavip сказал:

 

с али парсит короткое текстовое описание характеристик с названиями, категориями и т.д., что вполне допусти и достаточно для некоторых задач, но фото товара при первом парсинге все ок , при втором заходе вместо некоторых фото подгружаются белые картинки. Думаю этот вопрос вполне решаем с помощью модуля для обхода этой защиты совместно, есть идеи мысли, предлагайте

большинство крупных маркет плейсов имеют защиту, просто надо подумать...

что думаете на счет фото, нет мыслей?

Надіслати
Поділитися на інших сайтах


1 час назад, sotavip сказал:

что думаете на счет фото, нет мыслей?

Если вопрос ко мне, то нету.

Это все не решается на уровни гадания. Тут нужно смотреть конкретно ситуацию.

Надіслати
Поділитися на інших сайтах

Забыл написать в обновлении 3.0-2_beta

 

На странице настройки парсинга вынес переключатель использования кеша.
sjQhvCT.png

Как мало кто знает, но модуль для сбережения ресурсов, и сократить шансы на бан использует кеш.
А именно при первом заходе на страницу он ее кеширует, и далее при переключениях он обратно ее не парсит. И берет из кеша.
Кеш считается рабочим 3 часа после обнуляется.

Ранее тоже можно было отключить кеш здесь.
aQopTbQ.png

Но как то это сложно оказалось. Так что решил перенести по ближе что бы было наглядно.

И напоминаю, что если вы используете кеш, и закешировали страницу с ошибкой, то что бы вы не делали модуль вам не покажет нормальный код пока вы не отключите кеш, или не закончится 3 часа.

Часто бывает когда пользователи начинают использовать прокси, заголовки и пишит что нет результата. При этом у них модуль банально выводить закешированную страницу.

Надіслати
Поділитися на інших сайтах

2 часа назад, Rassol2 сказал:

Эх а вроде ясно обьяснил.

ну да ладно.

Вводная, сейчас мы говорим об много поточности.

 

Схематично как то так.

  Показать контент

RZqICJK.png

 

Один запрос, в рамках модуля это один красный квадратик. В запросе может быть сколько угодно ссылок. от 1 до 5 - (много поточность в рамка модуля SimplePars)
Так вот в желтом квадрате попробовал изобразить список прокси.

Прокси выдается рандомно на один запрос.
Запрос в свою очередь содержит столько ссылок сколько у вас потоков.

Отсюда и получается, один проксы выдается на один запрос в котором может быть от 1 до 5 ссылок взависимости от потока.
Обрабатывает их и меняется.


Надеюсь понятно ?

 

это понятно, 

а нет смысла реализовать при многопоточности под каждую ссылку отдельный прокси?

Надіслати
Поділитися на інших сайтах


9 минут назад, sotavip сказал:

 

это понятно, 

а нет смысла реализовать при многопоточности под каждую ссылку отдельный прокси?

чем плох такой подход ?
Отработали 3 ссылки сменили, отработали сменили.

В таком подходе и настройки браузера на один пул идут.
А если на каждую ссылку делать отдельный. Тогда нужно еше как то куки разделать, юсер агент и все такое.

Больше работы, а какая практическая выгода ?

Надіслати
Поділитися на інших сайтах

14 минут назад, Rassol2 сказал:

чем плох такой подход ?
Отработали 3 ссылки сменили, отработали сменили.

В таком подходе и настройки браузера на один пул идут.
А если на каждую ссылку делать отдельный. Тогда нужно еше как то куки разделать, юсер агент и все такое.

Больше работы, а какая практическая выгода ?

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

Надіслати
Поділитися на інших сайтах


3 минуты назад, sotavip сказал:

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

меняя ип не забывайте есть куки. И не факт что вас забанили, может там что то свазанно с кешированием.
Китайцы они такие.

Надіслати
Поділитися на інших сайтах

19 минут назад, Rassol2 сказал:

меняя ип не забывайте есть куки. И не факт что вас забанили, может там что то свазанно с кешированием.
Китайцы они такие.

 

не банят, картинки подсовывают , пока все так же

или просто битые

Змінено користувачем sotavip
Надіслати
Поділитися на інших сайтах


2 минуты назад, sotavip сказал:

предложение, парсить товары только от определенной суммы, кому актуально?

Изначально неправильно поставлен вопрос. Парсить то модуль будет все подряд. Ведь пока не спарсиш сумму то не узнаеш :)
Вы наверное хотите предложить более гибкую систему настройки логики.

Если это делаем то, а если то делаем это.
И так далее.

Вы не первый, есть мысли, и будет такое. Но всему свое время сейчас еше крон в очереди, и предварительные загрузки ссылок.
Работаю не покладая рук :)

  • +1 1
Надіслати
Поділитися на інших сайтах

Только что, Praimes сказал:

Быстро вы обнавляете модуль:-D. Я не успеваю за вами ))

обратите внимание что есть 2 ветки.
Зеленая и красная.

В зеленой считается стабильная.
Красная ветка с приставкой _beta сюда я засовываю все новое.
Все пожелания, он может быть не стабильной. Но в ней самые свежие плюшки.

В зависимости от того что вам нужно, можете обновляться как по стабильный версиям так и по бета.

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.