[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

Обновление v3.0-1

Рекомендую всем обновится что бы не было проблем с появлением белого экрана при входе в модуль.
Исправления ошибок авторизации модуля.

[Alexrosy]

Так, а что теперь ключ нужен к модулю? Можно мне в лс. Или надо предоставить еще какие-то данные о покупке?

[Rassol2]

2 минуты назад, Alexrosy сказал:

Так, а что теперь ключ нужен к модулю? Можно мне в лс. Или надо предоставить еще какие-то данные о покупке?

Да можно.
выслал в ЛС

[Rassol2]

Обновление 3.0-2_beta

Снова открыта тестовая ветка туда буду заносить все.

В этой версии навел немного порядок, и сделал мелки правки для удобства. О которых вы меня просили.
 

1. По просьбе @Axelenz  при удалении ссылок из очереди сканирования, или списка ссылок на товар появляется модульное окно с подтверждением действия.
Да бы исключить случайное удаление ссылок.

Спойлер

2. Во всех местах где фигурируют границы парсинга теперь есть и их ключи в виде {gran_*}
на сколько это было возможно.
 

Спойлер

===========================================

Для поиск замены тоже.

===========================================

 

3. При установки и обновлении модуля по умолчанию устанавливается версия под PHP 5.6 и 7.0 после чего у людей перестает работать модуль, если у них версия php выше.
По этому теперь при  выполнении inst.php все пользователи использующие php > 7.0 Будут получать напоминание что необходимо докинуть нужные файлы. С указанием версии php у вас установлена. Надеюсь это сократить вопросы
 

Спойлер

 

4. Исправлены мелочи связанные с сообщениями в прокси чекере

 

[sotavip]

подскажите как выбираются прокси, при каждом запросе используется новый прокси из списка, или один прокси на один сеанс парсинга. или в случае блокировки берется следующий?, поясните пож-та 

[Rassol2]

1 минуту назад, sotavip сказал:

подскажите как выбираются прокси, при каждом запросе используется новый прокси из списка, или один прокси на один сеанс парсинга. или в случае блокировки берется следующий?, поясните пож-та 

Здравствуйте.
 

Если у вас в списке только один прокси, тогда он работает на все запросы.
Если список тогда логика такова.

При формировании запроса модуль рандомно берет один прокси из списка. И выполняет с ним запрос.
На следующий запрос модуль опять берет рандомно один из прокси.

Причем нужно понимать что под одним запросом подразумевается как парсинг одной ссылки в однопоточном режиме.
Так и парсинг пяти ссылок в много поточном режиме с пятью потоками.

То есть одни прокси берется на одну итерацию, и меняется.

[sotavip]

В 11.01.2020 в 23:59, BJIAD сказал:

Добрый день. 

 

С али работает данный модуль?

 

с али парсит короткое текстовое описание характеристик с названиями, категориями и т.д., что вполне допусти и достаточно для некоторых задач, но фото товара при первом парсинге все ок , при втором заходе вместо некоторых фото подгружаются белые картинки. Думаю этот вопрос вполне решаем с помощью модуля для обхода этой защиты совместно, есть идеи мысли, предлагайте

большинство крупных маркет плейсов имеют защиту, просто надо подумать...

[sotavip]

53 минуты назад, Rassol2 сказал:

Здравствуйте.
 

Если у вас в списке только один прокси, тогда он работает на все запросы.
Если список тогда логика такова.

При формировании запроса модуль рандомно берет один прокси из списка. И выполняет с ним запрос.
На следующий запрос модуль опять берет рандомно один из прокси.

Причем нужно понимать что под одним запросом подразумевается как парсинг одной ссылки в однопоточном режиме.
Так и парсинг пяти ссылок в много поточном режиме с пятью потоками.

То есть одни прокси берется на одну итерацию, и меняется.

 

т.е. при много поточном режиме с пять потоками будет использоваться один прокси из списка, или каждый поток отдельный прокси будет использоваться?

Змінено 18 січня 2020 користувачем sotavip

[Rassol2]

13 минут назад, sotavip сказал:

 

т.е. при много поточном режиме с пять потоками будет использоваться один прокси из списка, или каждый поток отдельный прокси будет использоваться

Эх а вроде ясно обьяснил.

ну да ладно.

Вводная, сейчас мы говорим об много поточности.

 

Схематично как то так.

Спойлер

 

Один запрос, в рамках модуля это один красный квадратик. В запросе может быть сколько угодно ссылок. от 1 до 5 - (много поточность в рамка модуля SimplePars)
Так вот в желтом квадрате попробовал изобразить список прокси.

Прокси выдается рандомно на один запрос.
Запрос в свою очередь содержит столько ссылок сколько у вас потоков.

Отсюда и получается, один проксы выдается на один запрос в котором может быть от 1 до 5 ссылок взависимости от потока.
Обрабатывает их и меняется.


Надеюсь понятно ?

[sotavip]

 

50 минут назад, sotavip сказал:

 

с али парсит короткое текстовое описание характеристик с названиями, категориями и т.д., что вполне допусти и достаточно для некоторых задач, но фото товара при первом парсинге все ок , при втором заходе вместо некоторых фото подгружаются белые картинки. Думаю этот вопрос вполне решаем с помощью модуля для обхода этой защиты совместно, есть идеи мысли, предлагайте

большинство крупных маркет плейсов имеют защиту, просто надо подумать...

что думаете на счет фото, нет мыслей?

[Rassol2]

1 час назад, sotavip сказал:

что думаете на счет фото, нет мыслей?

Если вопрос ко мне, то нету.

Это все не решается на уровни гадания. Тут нужно смотреть конкретно ситуацию.

[Rassol2]

Забыл написать в обновлении 3.0-2_beta

 

На странице настройки парсинга вынес переключатель использования кеша.


Как мало кто знает, но модуль для сбережения ресурсов, и сократить шансы на бан использует кеш.
А именно при первом заходе на страницу он ее кеширует, и далее при переключениях он обратно ее не парсит. И берет из кеша.
Кеш считается рабочим 3 часа после обнуляется.

Ранее тоже можно было отключить кеш здесь.


Но как то это сложно оказалось. Так что решил перенести по ближе что бы было наглядно.

И напоминаю, что если вы используете кеш, и закешировали страницу с ошибкой, то что бы вы не делали модуль вам не покажет нормальный код пока вы не отключите кеш, или не закончится 3 часа.

Часто бывает когда пользователи начинают использовать прокси, заголовки и пишит что нет результата. При этом у них модуль банально выводить закешированную страницу.

[sotavip]

.

Змінено 18 січня 2020 користувачем sotavip

[sotavip]

2 часа назад, Rassol2 сказал:

Эх а вроде ясно обьяснил.

ну да ладно.

Вводная, сейчас мы говорим об много поточности.

 

Схематично как то так.

  Показать контент

 

Один запрос, в рамках модуля это один красный квадратик. В запросе может быть сколько угодно ссылок. от 1 до 5 - (много поточность в рамка модуля SimplePars)
Так вот в желтом квадрате попробовал изобразить список прокси.

Прокси выдается рандомно на один запрос.
Запрос в свою очередь содержит столько ссылок сколько у вас потоков.

Отсюда и получается, один проксы выдается на один запрос в котором может быть от 1 до 5 ссылок взависимости от потока.
Обрабатывает их и меняется.


Надеюсь понятно ?

 

это понятно, 

а нет смысла реализовать при многопоточности под каждую ссылку отдельный прокси?

[Rassol2]

9 минут назад, sotavip сказал:

 

это понятно, 

а нет смысла реализовать при многопоточности под каждую ссылку отдельный прокси?

чем плох такой подход ?
Отработали 3 ссылки сменили, отработали сменили.

В таком подходе и настройки браузера на один пул идут.
А если на каждую ссылку делать отдельный. Тогда нужно еше как то куки разделать, юсер агент и все такое.

Больше работы, а какая практическая выгода ?

[sotavip]

14 минут назад, Rassol2 сказал:

чем плох такой подход ?
Отработали 3 ссылки сменили, отработали сменили.

В таком подходе и настройки браузера на один пул идут.
А если на каждую ссылку делать отдельный. Тогда нужно еше как то куки разделать, юсер агент и все такое.

Больше работы, а какая практическая выгода ?

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

[Rassol2]

3 минуты назад, sotavip сказал:

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

меняя ип не забывайте есть куки. И не факт что вас забанили, может там что то свазанно с кешированием.
Китайцы они такие.

[sotavip]

18 минут назад, sotavip сказал:

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

 

[sotavip]

19 минут назад, Rassol2 сказал:

меняя ип не забывайте есть куки. И не факт что вас забанили, может там что то свазанно с кешированием.
Китайцы они такие.

 

не банят, картинки подсовывают , пока все так же

или просто битые

Змінено 18 січня 2020 користувачем sotavip

[sotavip]

предложение, парсить товары только от определенной суммы, кому актуально?

[Rassol2]

2 минуты назад, sotavip сказал:

предложение, парсить товары только от определенной суммы, кому актуально?

Изначально неправильно поставлен вопрос. Парсить то модуль будет все подряд. Ведь пока не спарсиш сумму то не узнаеш
Вы наверное хотите предложить более гибкую систему настройки логики.

Если это делаем то, а если то делаем это.
И так далее.

Вы не первый, есть мысли, и будет такое. Но всему свое время сейчас еше крон в очереди, и предварительные загрузки ссылок.
Работаю не покладая рук

[sotavip]

 

[Praimes]

Быстро вы обнавляете модуль. Я не успеваю за вами ))

[Praimes]

Подскажите есть ли инструкция, чтобы при персенге автоматом создавал категория которых нет?. Спасибо

[Rassol2]

Только что, Praimes сказал:

Быстро вы обнавляете модуль. Я не успеваю за вами ))

обратите внимание что есть 2 ветки.
Зеленая и красная.

В зеленой считается стабильная.
Красная ветка с приставкой _beta сюда я засовываю все новое.
Все пожелания, он может быть не стабильной. Но в ней самые свежие плюшки.

В зависимости от того что вам нужно, можете обновляться как по стабильный версиям так и по бета.