Jump to content

Recommended Posts

Обновление v3.0-1


Рекомендую всем обновится что бы не было проблем с появлением белого экрана при входе в модуль.
Исправления ошибок авторизации модуля.

Share this post


Link to post
Share on other sites

Так, а что теперь ключ нужен к модулю? Можно мне в лс. Или надо предоставить еще какие-то данные о покупке?

Share this post


Link to post
Share on other sites
2 минуты назад, Alexrosy сказал:

Так, а что теперь ключ нужен к модулю? Можно мне в лс. Или надо предоставить еще какие-то данные о покупке?

Да можно.
выслал в ЛС

Share this post


Link to post
Share on other sites

Обновление 3.0-2_beta

Снова открыта тестовая ветка туда буду заносить все.

В этой версии навел немного порядок, и сделал мелки правки для удобства. О которых вы меня просили.
 

1. По просьбе @Axelenz  при удалении ссылок из очереди сканирования, или списка ссылок на товар появляется модульное окно с подтверждением действия.
Да бы исключить случайное удаление ссылок.

Спойлер

acDJ9sb.png


2. Во всех местах где фигурируют границы парсинга теперь есть и их ключи в виде {gran_*}
на сколько это было возможно.
 

Спойлер

JXCzbxM.png

===========================================

Для поиск замены тоже.

===========================================

Efx1dhS.png

 

3. При установки и обновлении модуля по умолчанию устанавливается версия под PHP 5.6 и 7.0 после чего у людей перестает работать модуль, если у них версия php выше.
По этому теперь при  выполнении inst.php все пользователи использующие php > 7.0 Будут получать напоминание что необходимо докинуть нужные файлы. С указанием версии php у вас установлена. Надеюсь это сократить вопросы :)
 

Спойлер

DDmuHog.png

 

4. Исправлены мелочи связанные с сообщениями в прокси чекере

 

  • +1 1

Share this post


Link to post
Share on other sites

подскажите как выбираются прокси, при каждом запросе используется новый прокси из списка, или один прокси на один сеанс парсинга. или в случае блокировки берется следующий?, поясните пож-та 

Share this post


Link to post
Share on other sites
1 минуту назад, sotavip сказал:

подскажите как выбираются прокси, при каждом запросе используется новый прокси из списка, или один прокси на один сеанс парсинга. или в случае блокировки берется следующий?, поясните пож-та 

Здравствуйте.
 

Если у вас в списке только один прокси, тогда он работает на все запросы.
Если список тогда логика такова.

При формировании запроса модуль рандомно берет один прокси из списка. И выполняет с ним запрос.
На следующий запрос модуль опять берет рандомно один из прокси.

Причем нужно понимать что под одним запросом подразумевается как парсинг одной ссылки в однопоточном режиме.
Так и парсинг пяти ссылок в много поточном режиме с пятью потоками.

То есть одни прокси берется на одну итерацию, и меняется.

Share this post


Link to post
Share on other sites
В 11.01.2020 в 23:59, BJIAD сказал:

Добрый день. 

 

С али работает данный модуль?

 

с али парсит короткое текстовое описание характеристик с названиями, категориями и т.д., что вполне допусти и достаточно для некоторых задач, но фото товара при первом парсинге все ок , при втором заходе вместо некоторых фото подгружаются белые картинки. Думаю этот вопрос вполне решаем с помощью модуля для обхода этой защиты совместно, есть идеи мысли, предлагайте

большинство крупных маркет плейсов имеют защиту, просто надо подумать...

Share this post


Link to post
Share on other sites
53 минуты назад, Rassol2 сказал:

Здравствуйте.
 

Если у вас в списке только один прокси, тогда он работает на все запросы.
Если список тогда логика такова.

При формировании запроса модуль рандомно берет один прокси из списка. И выполняет с ним запрос.
На следующий запрос модуль опять берет рандомно один из прокси.

Причем нужно понимать что под одним запросом подразумевается как парсинг одной ссылки в однопоточном режиме.
Так и парсинг пяти ссылок в много поточном режиме с пятью потоками.

То есть одни прокси берется на одну итерацию, и меняется.

 

т.е. при много поточном режиме с пять потоками будет использоваться один прокси из списка, или каждый поток отдельный прокси будет использоваться?

Edited by sotavip

Share this post


Link to post
Share on other sites
13 минут назад, sotavip сказал:

 

т.е. при много поточном режиме с пять потоками будет использоваться один прокси из списка, или каждый поток отдельный прокси будет использоваться

Эх а вроде ясно обьяснил.

ну да ладно.

Вводная, сейчас мы говорим об много поточности.

 

Схематично как то так.

Спойлер

RZqICJK.png

 

Один запрос, в рамках модуля это один красный квадратик. В запросе может быть сколько угодно ссылок. от 1 до 5 - (много поточность в рамка модуля SimplePars)
Так вот в желтом квадрате попробовал изобразить список прокси.

Прокси выдается рандомно на один запрос.
Запрос в свою очередь содержит столько ссылок сколько у вас потоков.

Отсюда и получается, один проксы выдается на один запрос в котором может быть от 1 до 5 ссылок взависимости от потока.
Обрабатывает их и меняется.


Надеюсь понятно ?

Share this post


Link to post
Share on other sites

 

50 минут назад, sotavip сказал:

 

с али парсит короткое текстовое описание характеристик с названиями, категориями и т.д., что вполне допусти и достаточно для некоторых задач, но фото товара при первом парсинге все ок , при втором заходе вместо некоторых фото подгружаются белые картинки. Думаю этот вопрос вполне решаем с помощью модуля для обхода этой защиты совместно, есть идеи мысли, предлагайте

большинство крупных маркет плейсов имеют защиту, просто надо подумать...

что думаете на счет фото, нет мыслей?

Share this post


Link to post
Share on other sites
1 час назад, sotavip сказал:

что думаете на счет фото, нет мыслей?

Если вопрос ко мне, то нету.

Это все не решается на уровни гадания. Тут нужно смотреть конкретно ситуацию.

Share this post


Link to post
Share on other sites

Забыл написать в обновлении 3.0-2_beta

 

На странице настройки парсинга вынес переключатель использования кеша.
sjQhvCT.png

Как мало кто знает, но модуль для сбережения ресурсов, и сократить шансы на бан использует кеш.
А именно при первом заходе на страницу он ее кеширует, и далее при переключениях он обратно ее не парсит. И берет из кеша.
Кеш считается рабочим 3 часа после обнуляется.

Ранее тоже можно было отключить кеш здесь.
aQopTbQ.png

Но как то это сложно оказалось. Так что решил перенести по ближе что бы было наглядно.

И напоминаю, что если вы используете кеш, и закешировали страницу с ошибкой, то что бы вы не делали модуль вам не покажет нормальный код пока вы не отключите кеш, или не закончится 3 часа.

Часто бывает когда пользователи начинают использовать прокси, заголовки и пишит что нет результата. При этом у них модуль банально выводить закешированную страницу.

Share this post


Link to post
Share on other sites

.

Edited by sotavip

Share this post


Link to post
Share on other sites
2 часа назад, Rassol2 сказал:

Эх а вроде ясно обьяснил.

ну да ладно.

Вводная, сейчас мы говорим об много поточности.

 

Схематично как то так.

  Показать контент

RZqICJK.png

 

Один запрос, в рамках модуля это один красный квадратик. В запросе может быть сколько угодно ссылок. от 1 до 5 - (много поточность в рамка модуля SimplePars)
Так вот в желтом квадрате попробовал изобразить список прокси.

Прокси выдается рандомно на один запрос.
Запрос в свою очередь содержит столько ссылок сколько у вас потоков.

Отсюда и получается, один проксы выдается на один запрос в котором может быть от 1 до 5 ссылок взависимости от потока.
Обрабатывает их и меняется.


Надеюсь понятно ?

 

это понятно, 

а нет смысла реализовать при многопоточности под каждую ссылку отдельный прокси?

Share this post


Link to post
Share on other sites
9 минут назад, sotavip сказал:

 

это понятно, 

а нет смысла реализовать при многопоточности под каждую ссылку отдельный прокси?

чем плох такой подход ?
Отработали 3 ссылки сменили, отработали сменили.

В таком подходе и настройки браузера на один пул идут.
А если на каждую ссылку делать отдельный. Тогда нужно еше как то куки разделать, юсер агент и все такое.

Больше работы, а какая практическая выгода ?

Share this post


Link to post
Share on other sites
14 минут назад, Rassol2 сказал:

чем плох такой подход ?
Отработали 3 ссылки сменили, отработали сменили.

В таком подходе и настройки браузера на один пул идут.
А если на каждую ссылку делать отдельный. Тогда нужно еше как то куки разделать, юсер агент и все такое.

Больше работы, а какая практическая выгода ?

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

Share this post


Link to post
Share on other sites
3 минуты назад, sotavip сказал:

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

меняя ип не забывайте есть куки. И не факт что вас забанили, может там что то свазанно с кешированием.
Китайцы они такие.

Share this post


Link to post
Share on other sites
18 минут назад, sotavip сказал:

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

 

:grin:

Share this post


Link to post
Share on other sites
19 минут назад, Rassol2 сказал:

меняя ип не забывайте есть куки. И не факт что вас забанили, может там что то свазанно с кешированием.
Китайцы они такие.

 

не банят, картинки подсовывают , пока все так же

или просто битые

Edited by sotavip

Share this post


Link to post
Share on other sites

предложение, парсить товары только от определенной суммы, кому актуально?

Share this post


Link to post
Share on other sites
2 минуты назад, sotavip сказал:

предложение, парсить товары только от определенной суммы, кому актуально?

Изначально неправильно поставлен вопрос. Парсить то модуль будет все подряд. Ведь пока не спарсиш сумму то не узнаеш :)
Вы наверное хотите предложить более гибкую систему настройки логики.

Если это делаем то, а если то делаем это.
И так далее.

Вы не первый, есть мысли, и будет такое. Но всему свое время сейчас еше крон в очереди, и предварительные загрузки ссылок.
Работаю не покладая рук :)

  • +1 1

Share this post


Link to post
Share on other sites

Быстро вы обнавляете модуль:-D. Я не успеваю за вами ))

Share this post


Link to post
Share on other sites

Подскажите есть ли инструкция, чтобы при персенге автоматом создавал категория которых нет?. Спасибо

Share this post


Link to post
Share on other sites
Только что, Praimes сказал:

Быстро вы обнавляете модуль:-D. Я не успеваю за вами ))

обратите внимание что есть 2 ветки.
Зеленая и красная.

В зеленой считается стабильная.
Красная ветка с приставкой _beta сюда я засовываю все новое.
Все пожелания, он может быть не стабильной. Но в ней самые свежие плюшки.

В зависимости от того что вам нужно, можете обновляться как по стабильный версиям так и по бета.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By GeorgyM
      Услуги по автоматизации наполнения Вашего сайта.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
        
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
       
        
      Как начать работать со мной: 
      1) Напишите мне  в личку - КЛИНУТЬ ЧТОБЫ НАПИСАТЬ МНЕ
      2) Укажите сайт, с которого нужно собрать данные (Домен)
      3) Укажите дополнительные пожелания  
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
    • By GeorgyM
      500.00 руб
      Скачать/Купить дополнение


      Парсинг для Opencart : загрузка товаров / статей, для Опенкарт, OcStore, v.1.x, 2.x, 3.x
      Услуги по автоматизации наполнения Вашего сайта.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
        
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
       
        
      Как начать работать со мной: 
      1) Напишите мне  в личку - КЛИНУТЬ ЧТОБЫ НАПИСАТЬ МНЕ
      2) Укажите сайт, с которого нужно собрать данные (Домен)
      3) Укажите дополнительные пожелания  
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
      Добавил GeorgyM Добавлено 22.08.2017 Категория Услуги  
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.