Jump to content

Recommended Posts

Обновление v3.0-1


Рекомендую всем обновится что бы не было проблем с появлением белого экрана при входе в модуль.
Исправления ошибок авторизации модуля.

Share this post


Link to post
Share on other sites

Так, а что теперь ключ нужен к модулю? Можно мне в лс. Или надо предоставить еще какие-то данные о покупке?

Share this post


Link to post
Share on other sites
2 минуты назад, Alexrosy сказал:

Так, а что теперь ключ нужен к модулю? Можно мне в лс. Или надо предоставить еще какие-то данные о покупке?

Да можно.
выслал в ЛС

Share this post


Link to post
Share on other sites

Обновление 3.0-2_beta

Снова открыта тестовая ветка туда буду заносить все.

В этой версии навел немного порядок, и сделал мелки правки для удобства. О которых вы меня просили.
 

1. По просьбе @Axelenz  при удалении ссылок из очереди сканирования, или списка ссылок на товар появляется модульное окно с подтверждением действия.
Да бы исключить случайное удаление ссылок.

Спойлер

acDJ9sb.png


2. Во всех местах где фигурируют границы парсинга теперь есть и их ключи в виде {gran_*}
на сколько это было возможно.
 

Спойлер

JXCzbxM.png

===========================================

Для поиск замены тоже.

===========================================

Efx1dhS.png

 

3. При установки и обновлении модуля по умолчанию устанавливается версия под PHP 5.6 и 7.0 после чего у людей перестает работать модуль, если у них версия php выше.
По этому теперь при  выполнении inst.php все пользователи использующие php > 7.0 Будут получать напоминание что необходимо докинуть нужные файлы. С указанием версии php у вас установлена. Надеюсь это сократить вопросы :)
 

Спойлер

DDmuHog.png

 

4. Исправлены мелочи связанные с сообщениями в прокси чекере

 

  • +1 1

Share this post


Link to post
Share on other sites

подскажите как выбираются прокси, при каждом запросе используется новый прокси из списка, или один прокси на один сеанс парсинга. или в случае блокировки берется следующий?, поясните пож-та 

Share this post


Link to post
Share on other sites
1 минуту назад, sotavip сказал:

подскажите как выбираются прокси, при каждом запросе используется новый прокси из списка, или один прокси на один сеанс парсинга. или в случае блокировки берется следующий?, поясните пож-та 

Здравствуйте.
 

Если у вас в списке только один прокси, тогда он работает на все запросы.
Если список тогда логика такова.

При формировании запроса модуль рандомно берет один прокси из списка. И выполняет с ним запрос.
На следующий запрос модуль опять берет рандомно один из прокси.

Причем нужно понимать что под одним запросом подразумевается как парсинг одной ссылки в однопоточном режиме.
Так и парсинг пяти ссылок в много поточном режиме с пятью потоками.

То есть одни прокси берется на одну итерацию, и меняется.

Share this post


Link to post
Share on other sites
В 11.01.2020 в 23:59, BJIAD сказал:

Добрый день. 

 

С али работает данный модуль?

 

с али парсит короткое текстовое описание характеристик с названиями, категориями и т.д., что вполне допусти и достаточно для некоторых задач, но фото товара при первом парсинге все ок , при втором заходе вместо некоторых фото подгружаются белые картинки. Думаю этот вопрос вполне решаем с помощью модуля для обхода этой защиты совместно, есть идеи мысли, предлагайте

большинство крупных маркет плейсов имеют защиту, просто надо подумать...

Share this post


Link to post
Share on other sites
53 минуты назад, Rassol2 сказал:

Здравствуйте.
 

Если у вас в списке только один прокси, тогда он работает на все запросы.
Если список тогда логика такова.

При формировании запроса модуль рандомно берет один прокси из списка. И выполняет с ним запрос.
На следующий запрос модуль опять берет рандомно один из прокси.

Причем нужно понимать что под одним запросом подразумевается как парсинг одной ссылки в однопоточном режиме.
Так и парсинг пяти ссылок в много поточном режиме с пятью потоками.

То есть одни прокси берется на одну итерацию, и меняется.

 

т.е. при много поточном режиме с пять потоками будет использоваться один прокси из списка, или каждый поток отдельный прокси будет использоваться?

Edited by sotavip

Share this post


Link to post
Share on other sites
13 минут назад, sotavip сказал:

 

т.е. при много поточном режиме с пять потоками будет использоваться один прокси из списка, или каждый поток отдельный прокси будет использоваться

Эх а вроде ясно обьяснил.

ну да ладно.

Вводная, сейчас мы говорим об много поточности.

 

Схематично как то так.

Спойлер

RZqICJK.png

 

Один запрос, в рамках модуля это один красный квадратик. В запросе может быть сколько угодно ссылок. от 1 до 5 - (много поточность в рамка модуля SimplePars)
Так вот в желтом квадрате попробовал изобразить список прокси.

Прокси выдается рандомно на один запрос.
Запрос в свою очередь содержит столько ссылок сколько у вас потоков.

Отсюда и получается, один проксы выдается на один запрос в котором может быть от 1 до 5 ссылок взависимости от потока.
Обрабатывает их и меняется.


Надеюсь понятно ?

  • +1 1

Share this post


Link to post
Share on other sites

 

50 минут назад, sotavip сказал:

 

с али парсит короткое текстовое описание характеристик с названиями, категориями и т.д., что вполне допусти и достаточно для некоторых задач, но фото товара при первом парсинге все ок , при втором заходе вместо некоторых фото подгружаются белые картинки. Думаю этот вопрос вполне решаем с помощью модуля для обхода этой защиты совместно, есть идеи мысли, предлагайте

большинство крупных маркет плейсов имеют защиту, просто надо подумать...

что думаете на счет фото, нет мыслей?

Share this post


Link to post
Share on other sites
1 час назад, sotavip сказал:

что думаете на счет фото, нет мыслей?

Если вопрос ко мне, то нету.

Это все не решается на уровни гадания. Тут нужно смотреть конкретно ситуацию.

Share this post


Link to post
Share on other sites

Забыл написать в обновлении 3.0-2_beta

 

На странице настройки парсинга вынес переключатель использования кеша.
sjQhvCT.png

Как мало кто знает, но модуль для сбережения ресурсов, и сократить шансы на бан использует кеш.
А именно при первом заходе на страницу он ее кеширует, и далее при переключениях он обратно ее не парсит. И берет из кеша.
Кеш считается рабочим 3 часа после обнуляется.

Ранее тоже можно было отключить кеш здесь.
aQopTbQ.png

Но как то это сложно оказалось. Так что решил перенести по ближе что бы было наглядно.

И напоминаю, что если вы используете кеш, и закешировали страницу с ошибкой, то что бы вы не делали модуль вам не покажет нормальный код пока вы не отключите кеш, или не закончится 3 часа.

Часто бывает когда пользователи начинают использовать прокси, заголовки и пишит что нет результата. При этом у них модуль банально выводить закешированную страницу.

Share this post


Link to post
Share on other sites

.

Edited by sotavip

Share this post


Link to post
Share on other sites
2 часа назад, Rassol2 сказал:

Эх а вроде ясно обьяснил.

ну да ладно.

Вводная, сейчас мы говорим об много поточности.

 

Схематично как то так.

  Показать контент

RZqICJK.png

 

Один запрос, в рамках модуля это один красный квадратик. В запросе может быть сколько угодно ссылок. от 1 до 5 - (много поточность в рамка модуля SimplePars)
Так вот в желтом квадрате попробовал изобразить список прокси.

Прокси выдается рандомно на один запрос.
Запрос в свою очередь содержит столько ссылок сколько у вас потоков.

Отсюда и получается, один проксы выдается на один запрос в котором может быть от 1 до 5 ссылок взависимости от потока.
Обрабатывает их и меняется.


Надеюсь понятно ?

 

это понятно, 

а нет смысла реализовать при многопоточности под каждую ссылку отдельный прокси?

Share this post


Link to post
Share on other sites
9 минут назад, sotavip сказал:

 

это понятно, 

а нет смысла реализовать при многопоточности под каждую ссылку отдельный прокси?

чем плох такой подход ?
Отработали 3 ссылки сменили, отработали сменили.

В таком подходе и настройки браузера на один пул идут.
А если на каждую ссылку делать отдельный. Тогда нужно еше как то куки разделать, юсер агент и все такое.

Больше работы, а какая практическая выгода ?

Share this post


Link to post
Share on other sites
14 минут назад, Rassol2 сказал:

чем плох такой подход ?
Отработали 3 ссылки сменили, отработали сменили.

В таком подходе и настройки браузера на один пул идут.
А если на каждую ссылку делать отдельный. Тогда нужно еше как то куки разделать, юсер агент и все такое.

Больше работы, а какая практическая выгода ?

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

Share this post


Link to post
Share on other sites
3 минуты назад, sotavip сказал:

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

меняя ип не забывайте есть куки. И не факт что вас забанили, может там что то свазанно с кешированием.
Китайцы они такие.

Share this post


Link to post
Share on other sites
18 минут назад, sotavip сказал:

 

будем тестить, просто не понятно как донор видит парсинг с рахных ip, предполагал заход с разных ip в одно время 

 

:grin:

Share this post


Link to post
Share on other sites
19 минут назад, Rassol2 сказал:

меняя ип не забывайте есть куки. И не факт что вас забанили, может там что то свазанно с кешированием.
Китайцы они такие.

 

не банят, картинки подсовывают , пока все так же

или просто битые

Edited by sotavip

Share this post


Link to post
Share on other sites

предложение, парсить товары только от определенной суммы, кому актуально?

Share this post


Link to post
Share on other sites
2 минуты назад, sotavip сказал:

предложение, парсить товары только от определенной суммы, кому актуально?

Изначально неправильно поставлен вопрос. Парсить то модуль будет все подряд. Ведь пока не спарсиш сумму то не узнаеш :)
Вы наверное хотите предложить более гибкую систему настройки логики.

Если это делаем то, а если то делаем это.
И так далее.

Вы не первый, есть мысли, и будет такое. Но всему свое время сейчас еше крон в очереди, и предварительные загрузки ссылок.
Работаю не покладая рук :)

  • +1 1

Share this post


Link to post
Share on other sites

Быстро вы обнавляете модуль:-D. Я не успеваю за вами ))

Share this post


Link to post
Share on other sites

Подскажите есть ли инструкция, чтобы при персенге автоматом создавал категория которых нет?. Спасибо

Share this post


Link to post
Share on other sites
Только что, Praimes сказал:

Быстро вы обнавляете модуль:-D. Я не успеваю за вами ))

обратите внимание что есть 2 ветки.
Зеленая и красная.

В зеленой считается стабильная.
Красная ветка с приставкой _beta сюда я засовываю все новое.
Все пожелания, он может быть не стабильной. Но в ней самые свежие плюшки.

В зависимости от того что вам нужно, можете обновляться как по стабильный версиям так и по бета.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By legioner26
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
    • By legioner26
      1 499.00 руб
      Скачать/Купить дополнение


      Модуль зуммирования изображений товара - ZoomPRO
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
      Добавил legioner26 Добавлено 20.05.2019 Категория Меню, дизайн, внешний вид Системные требования Ioncube Loader Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Нет Старая цена 3500  
    • By Chigan
      1. Что надо? 
      - Наполнить сайт ассортиментом поставщика;
      - Возможность выгружать остатки, тем самым скрывать карточки, которых нет в наличии и отображать, которые есть;
      - Автоматически создать категории и подкатегории, атрибуты по характеристикам, производители, бренды и т.д., что необходимо;
      - Определять позиции из прайса, где нет карточек;
      - Сделать так, чтобы сайт не ложился и выдерживал нагрузку. Работал нормально.
      * Возможно рассмотрение предложений, как решить эти задачи Вашим методом.
       
      2. Что есть от поставщика? 
      Для начала возьмем 1 поставщика. От него есть: 
      - Excel остатков на 188 тысяч строк со столбцами Бренд - Каталожный номер - Описание - Остаток - Кратность отгрузки - Валюта - Цена - странный Штрихкод, скорее это артикул (конечно будет постепенная загрузка, по мере этого и место будет увеличиваться);
      - Личный кабинет, где оформляться будут заказы, с каталогом и картинками для парсинга.
       
      3. Что еще есть?
      - Виртуальный хостинг пока что с 2 Гб. Естественно этого мало и по мере загрузки будем увеличивать;
      - Модуль Автоматической обработки прайс-листов.
       
       
      ** также на очереди еще 3 поставщика с ассортиментом до 10 000.

    • By MaxD
      Внимание! Проект закрывается. Поддержка будет осуществляться только для пользователей с активными лицензиями, также у них будет возможность продлевать лицензии. Через несколько дней дополнение будет удалено с площадки.
       
      Модуль для импорта таблиц (XLS, XLSX, CSV) и сайтов

      поддерживает импорт действительно больших файлов можно дописывать логику импорта в виде небольшого PHP-скрипта предустановленные настройки для AliExpress и eBay для любых сайтов можно настраивать через Мастер, как в ParseMX Язык - английский. Есть версии для OpenCart 1.5+, OpenCart 2.0 и самостоятельная.
      Работает с PHP 5.3 ... 7.0
      Это бета, поэтому имейте в виду, что все синтаксисы и разметки могут измениться в будущем без предупреждения и соблюдения обратной совместимости.
       
      Как настраивать парсинг одиночных товаров с сайта - https://youtu.be/W_yPVZsj62E
       
      Для массового парсинга товаров с сайта необходимо приобрести лицензию.
       
      Также есть лицензия для массового импорта прайсов, c ней LiveImport сможет:
      хранить отдельно настройки для разных прайсов по кнопке удалять товары, импортированные из определенного прайса автоматически загружать прайсы с внешних серверов по расписанию, если надо - вытаскивать их из ZIP-архива удалять/отключать товары, которые были в прайсе, но пропали проверять, изменился ли файл с последнего обращения, чтобы не обрабатывать повторно старый материал  
      Установка для ocStore/OpenCart 2+
      Установка для ocStore/OpenCart 1.5+
      Установка самостоятельной версии
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.