Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

[Поддержка] Парсер-менеджер товаров с торговых площадок


igyan
Модуль «Парсер-менеджер товаров с торговых площадок» знято з продажу
Ми підібрали схожі модулі інших розробників — їх можна придбати вже зараз.

Що можна обрати замість

Вирішують ту саму задачу, але іншим способом або частково.
SimplePars - Універсальний парсер для ІМ
Модуль SimplePars призначений для парсингу та наповнення інтернет магазину. Ідея модуля полягає в тому, щоб ви могли заварити чашку кави і спостерігати як ваш магазин наповнюється товарами. Адже набагато приємніше спостерігати за автоматичним завантаженням товару, ніж заповнювати кожну позицію власноруч.   Ціна модуля знижена з 32$ до 26$ у зв'язку з тим, що на даний момент мені важко надавати повноцінну технічну підтримку модуля. Зараз у мене немає можливості відповідати всім у приватних повідомленнях. Сподіваюся, що в майбутньому це зміниться :( З 20.09.2024, купуючи модуль, ви погоджуєтесь з тим, що технічна підтримка модуля вам не надаватиметься! Ви можете ставити свої запитання в темі модуля, де я та інші учасники нашої спільноти відповідатимуть за можливості.   Можливості модуля SimplePars Основні завдання які вирішує модуль це парсинг даних із сайту та подальше заповнення чи оновлення товарів в інтернет магазині. Ви можете як парсити безпосередньо в інтернет магазин, так і парсыты в Excel таблицю для подальшої обробки. У двох словах не описати що вміє робити модуль, тому позначу тільки основні моменти. - Повноцінний парсер, що дозволяє парсити сайти і наповнювати магазин товарами. - Крім завантаження можливе настроювання оновлення існуючих товарів, цін, залишків та інших елементів товару. - Автоматичне створення категорій, виробників, атрибутів, опцій, завантаження зображень та багато іншого. - Вбудований гнучкий збирач посилань, який допоможе зібрати посилання на необхідні товари. - Можлива ідентифікація товару за різними значеннями, детальніше про всі ідентифікатори ви можете дізнатися тут - Ідентифікатори - Доступна установка націнок будь-якої складності. - Парсинг / Складання SEO шаблонів та заповнення Мета даних товару, категорій, виробників. Заповнення SEO_URL - Формувати прайс csv з даними, що ви парсіте. Також прайси можна складати в готовому форматі для завантаження через АОП або будь-якого іншого завантажувача прайс листів. - Пошук заміна, потужний інструмент, що дозволяє вам нальоту змінювати інформацію. Тобто ви можете змінювати інформацію, яку ви парсите перед тим як зберегти її в товар або прайс. - Пошук заміна повністю підтримує регулярні вирази. - Модуль здатний парсити в багатопотоковому режимі. Що робить парсинг максимально швидким! - Можливість налаштувати запити для обходу блокування з боку донора. - Підтримка роботи з проксі. - Власний проксі чекер, що дозволяє відібрати проксі сервера, які будуть працювати з конкретним донором. - Можливе індивідуальне налаштування запитів, Налаштування Cookies, User-Agent, Надсилання власних заголовків Headers - Система логування, яка дозволяє контролювати процес парсингу на будь-якому етапі. - Система кешування сайту донора для безпечного парсингу. - Вбудований редактор посилань, що дозволяє групувати посилання за списками, та робити завантаження певних груп посилань. Так само відслідковувати посилання, які повертаються з помилками. - Парсинг із автоматичною авторизацією на сайті донорі. Інструкція з авторизації (Функція застаріла. Дана функція застаріла і про багато сайтів вже не буде працювати. Тобто гарнтії, що у вас буде працювати, я не даю.) - NEW Автоматичний парсинг за розкладом, за допомогою CRON - NEW Вбудований редактор товарів. Редактор товарів допоможе зробити фінальне виправлення товарів. Інструкція до редактора товарів - NEW Парсер документів XML/YML від постачальника. - NEW Парсинг сайтів із зображеннями у форматі WEBP!!!! Докладніше - NEW Розширення можливостей парсера власними PHP скриптами. Докладніше!!! - NEW Парсинг файлів у товар. Тепер ви можете парсить інструкції до товару або будь-які інші файли з сайту донора. Докладніше!!!   Ви можете вказати будь-яку кількість границь парсингу, на будь-які дані, що є в html коді сайту донора. SimplePars це універсальний інструмент, який допоможе вам наповнити ваш інтернет магазин. Зверніть увагу, що ви можете налаштувати парсинг на будь-які дані, і необов'язково вони повинні бути сумісні з opencart. Ви можете парсувати статті, відгуки, блоги.   SimplePars адаптовані під роботи з модулями. HYPER PRODUCT MODELS - NEW AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 2 AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 3 HYPER MULTI PRODUCT MODELS - NEW HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 2 HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 3 Ціни у опціях. Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 2 Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 3 Зображення у опціях. Опции с вводом количества, артикулом и изображением OC 2 Опции с вводом количества, артикулом и изображением OC 3 Изображения опций PRO Закупівельна ціна товару. CostPrice - закупочная цена товаров в opencart   І це мала частина тих завдань, які може виконати даний модуль. SimplePars розробляється як універсальний парсер, у нього немає чітких завдань, він має лише набір інструментів. А що ви побудуєте, маючи ці інструменти залежить тільки від вас.   Повна інструкція до модуля доступна за посиланням Інструкція до модуля SimplePars   Відео-уроки роботи з модулем доступні за посиланням Відео уроки з роботи з модулем SimplePars   Допоміжна програма для парсингу для десктопа. Завантажити для Windows Завантажити для Linux   Увага! Усі навчальні матеріали були написані російською.   Демо сайт для ознайомлення з інтерфейсом та можливостями модуля Зверніть увагу, що на демо сайті парсинг недоступний. http://demo.simplepars.top/admin/ Логин - demo Пароль - demo   Ліцензійна угода. Ознайомитись   Інструкція з встановлення. Установка SimplePars 1. Зайдіть у директорію вашої версії модуля та скопіюйте все в корінь сайту із заміною. 2. Введіть у рядку браузера ваш_сайт/inst.php і натисніть Enter. 3. Далі перейдіть до розділу Система->Користувачі->Групи користувачів->Адміністратор натисніть виділити все у двох розділах: Дозволити перегляд Дозволити редагувати Потім натисніть зберегти. 4. Зайдіть у "Модифікатори" або "Менеджер додатків" та натисніть Оновити. 5. Після цього видаліть у корені сайту файл inst.php Все, модуль встановлено. У розділі Каталог під пунктом Виробники з'явиться пункт SimplePars – це вхід у модуль.   Інструкція по оновленню 1. Завантажити вміст директорії з назвою вашої версії в корінь сайту. 2. Виконати ваш_сайт/inst.php 3. Видалити з кореня сайту файл inst.php   Після встановлення або оновлення я бачу білий екран або помилку 500 Якщо бачите білий екран, то вам необхідно перейти до архіву з модулем до директорії Other versions of PHP і там будуть лежати файли під всі версії php. Відкриваєте папку з ім'ям вашої версії php та завантажуєте вміст у корінь магазину...

Оновлене

SimplePars - Універсальний парсер для ІМ

1 200 грн
Придбати

Recommended Posts

Одинаковые id не должны быть, сделайте поиск по базе по id, может что увидите.

 

Для изменения модели добавьте в файл admin/controller/module/parsermanager.php в строках  984 и 1084(после условия) добавить

$data['model'] =  $data1['model'];

одинаковых id не нашлось :о(

 

по поводу модели

вставил то что вы сказали в файл - ничего не изменилось, может ни туда вставил? можно поподробнее

Надіслати
Поділитися на інших сайтах


Ошибка постоянно?

 

Будет изменять модель если стоит галочка переименовывать название

если хотите без галочки поставьте выше условия

f (isset($setting['source_setting']['title']) && $setting['source_setting']['title'] == '1'){  

Надіслати
Поділитися на інших сайтах

нет, ошибка не постоянно, бывает иногда при массовом парсинге

 

вроде разобрался куда вставлять, потестирую

если после IF и поставить галочку, модель добавляется/заменяется на имя товара с донора, но и название товара заменяется

а если перд IF и без галочки, то добавляет только модель

Надіслати
Поділитися на інших сайтах


я пытаюсь протестировать демку, но не прасятся товары с яндекс маркета, я менял прокси на демо, но ошибка одна и та же "Нет данных для парсинга".

 

Это и в релизе так? Как спарсить я ЯМаркета?

 

И еще момент, попробовал с хотлайн - нормально. Но ставит товару наличие - 1. Можно его изменить на 100?

Змінено користувачем Keyser
Надіслати
Поділитися на інших сайтах


На демо последняя версия. Парсинг с подкидывание кук из браузера и периодической проверкой прокси в парсере.

Надіслати
Поділитися на інших сайтах

Какое бы я название не вписывал в поиск, парсер постоянно пишет одно и тоже ТОВАРОВ НЕ НАЙДЕНО. Странным образом нашел какие то шины для машины по производителю постельного белья.

Созданный товар с одним названием, в списке парсера вообще не отображается. Получается что товар в магазине есть но парсер его не видит в существующем списке.

Складывается впечатление что это какой то муляж парсера.

Надіслати
Поділитися на інших сайтах


Какое бы я название не вписывал в поиск, парсер постоянно пишет одно и тоже ТОВАРОВ НЕ НАЙДЕНО. Странным образом нашел какие то шины для машины по производителю постельного белья.

Созданный товар с одним названием, в списке парсера вообще не отображается. Получается что товар в магазине есть но парсер его не видит в существующем списке.

Это у вас на каком агрегаторе? Я.Маркет?

Надіслати
Поділитися на інших сайтах


Это у вас на каком агрегаторе? Я.Маркет?

Пробую парсить с маркета, с куками. Ввожу например Фляга или Фляга Filson Flask Black результат всегда пустой, если ввожу book находит  всего 2 товара 

Надіслати
Поділитися на інших сайтах


Сделал обновление,

Добавлена возможность ввода капчи при парсинге с яндекса без прокси.

Интерфейс немного кривой, не успел доработать, так как пришлось сделать обновление из-за онлайнера. После ввода капчи в окне поиска, окно нужно закрыть и можно снова искать.

Основная идея -  получения кук непосредственно привязанных к вашему серверу.

Принцип работы:

1. Если не ищет товары или не парсит, смотрим логи если там "много перенаправлений..", то удаляем куки.

2. Пробуем парсить, скорее всего сразу появится капча.

3. Вводим капчу и ждем обновления станицы с предложение парсить.

4. Пробуем парсить или искать товар. Если не получилось смотрим пункт 1.

Надіслати
Поділитися на інших сайтах

онлайнер отработал всего лишь час после чего опять тоже самое ошибка в парсинге.

 

03-12-2014 09:39:12: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 09:39:12: Начало парсинга
03-12-2014 09:39:12: Удачный ответ от сервера
03-12-2014 09:39:12: Получено 15463 байт
03-12-2014 09:39:13: Ошибка! Не найдено название товара!
03-12-2014 09:39:13: Конец парсинга
Надіслати
Поділитися на інших сайтах


03-12-2014 15:09:47: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews

03-12-2014 15:09:47: Начало парсинга


03-12-2014 15:09:50: Удачный ответ от сервера

03-12-2014 15:09:50: Получено 15452 байт

03-12-2014 15:09:50: Ошибка! Не найдено название товара!

03-12-2014 15:09:50: Конец парсинга

 

Ошибка не уходит. Может опять что-то поменяли?

Надіслати
Поділитися на інших сайтах


не поменяли я проверил, возможно тоже стали проверять по ip, поробуйте через прокси

Надіслати
Поділитися на інших сайтах

Приветствую.

список проксиков выдаёт 1-5 живых (раньше было порядка 100 штук)

при вводе капчи нет перехода к парсингу, постоянный круговорот, капча, капча, капча (было один раз, перешло на страницу парсинга и после нажатия кнопки "парсит" снова капча)

 

03-12-2014 17:42:46: Начало парсинга
03-12-2014 17:42:46: Cookie включены.
03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.109:80
03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:46: Неудачный ответ от сервера: 404, попробуйте позже
03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.110:80
03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:47: Неудачный ответ от сервера: 404, попробуйте позже
03-12-2014 17:42:47: Парсинг через прокси: 119.188.94.145:80
03-12-2014 17:42:47: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:50: Неудачный ответ от сервера: 0, попробуйте позже
03-12-2014 17:42:50: Парсинг через прокси: 36.250.74.87:80
03-12-2014 17:42:50: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA
03-12-2014 17:42:54: Удачный ответ от сервера
03-12-2014 17:42:54: Получено 10204 байт
03-12-2014 17:42:54: Конец парсинга

Надіслати
Поділитися на інших сайтах


Пробовал по всякому и с прокси и без, толку нет.

 

03-12-2014 22:15:45: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews
03-12-2014 22:15:45: Начало парсинга
03-12-2014 22:15:46: Удачный ответ от сервера
03-12-2014 22:15:46: Получено 15440 байт
03-12-2014 22:15:46: Ошибка! Не найдено название товара!
03-12-2014 22:15:46: Конец парсинга
 
ошибка не меняется.
Надіслати
Поділитися на інших сайтах


 

Пробовал по всякому и с прокси и без, толку нет.

 

03-12-2014 22:15:45: Ссылка на товар:http://catalog.onliner.by/mobile/samsung/samsung_i9300i/reviews
03-12-2014 22:15:45: Начало парсинга
03-12-2014 22:15:46: Удачный ответ от сервера
03-12-2014 22:15:46: Получено 15440 байт
03-12-2014 22:15:46: Ошибка! Не найдено название товара!
03-12-2014 22:15:46: Конец парсинга
 
ошибка не меняется.

 

Почему-то у вас ссылка ведет на отзывы, попробуйте по прямой ссылке на товар

как получали ссылку, через поиск?

Надіслати
Поділитися на інших сайтах

Приветствую.

список проксиков выдаёт 1-5 живых (раньше было порядка 100 штук)

при вводе капчи нет перехода к парсингу, постоянный круговорот, капча, капча, капча (было один раз, перешло на страницу парсинга и после нажатия кнопки "парсит" снова капча)

 

03-12-2014 17:42:46: Начало парсинга

03-12-2014 17:42:46: Cookie включены.

03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.109:80

03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:46: Неудачный ответ от сервера: 404, попробуйте позже

03-12-2014 17:42:46: Парсинг через прокси: 202.171.253.110:80

03-12-2014 17:42:46: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:47: Неудачный ответ от сервера: 404, попробуйте позже

03-12-2014 17:42:47: Парсинг через прокси: 119.188.94.145:80

03-12-2014 17:42:47: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:50: Неудачный ответ от сервера: 0, попробуйте позже

03-12-2014 17:42:50: Парсинг через прокси: 36.250.74.87:80

03-12-2014 17:42:50: Запрос: http://market.yandex.ru/checkcaptcha?key=c3p1M8mCsroX4Qvhhbvmipxo9Usq1xJa_0%2F1417624939%2F7538b52a5087f9d54d5d84d9ad8d64de_802e8a18f1d2e852e5bf37c50a17ba79&retpath=http%3A%2F%2Fmarket.yandex.ru%2Fmodel.xml%3Fmodelid%3D10415512%26hid%3D6269371%26show-uid%3D884884914176045461%26track%3Dmdlimg%26track%3Dmdlttl_cb25df375a88d5cdf3606264aff04e50&rep=%D0%B1%D0%BB%D0%B5%D1%81%D0%BA

03-12-2014 17:42:54: Удачный ответ от сервера

03-12-2014 17:42:54: Получено 10204 байт

03-12-2014 17:42:54: Конец парсинга

Да с прокси есть проблемы я парсил их с бесплатного ресурса, что-то теперь там глухо, буду искать еще источники

Если пасрить через прокси, капча может быть часто. С капчей попробуйте без прокси

Надіслати
Поділитися на інших сайтах

попробовал без прокси

куки включал и отключал

 

03-12-2014 21:51:35: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10415512&hid=6269371&show-uid=054852414176398271&track=mdlimg&track=mdlttl
03-12-2014 21:51:35: Начало парсинга
03-12-2014 21:51:35: Запрос: http://market.yandex.ru/model.xml?modelid=10415512&hid=6269371&show-uid=054852414176398271&track=mdlimg&track=mdlttl&nocookiesupport=yes
03-12-2014 21:51:35: Перенаправление -> http://market.yandex.ru
03-12-2014 21:51:35: Запрос: http://market.yandex.ru
03-12-2014 21:51:36: Перенаправление -> http://market.yandex.ru/index
03-12-2014 21:51:36: Запрос: http://market.yandex.ru/index
03-12-2014 21:51:37: Удачный ответ от сервера
03-12-2014 21:51:37: Получено 33433 байт
03-12-2014 21:51:37: Ошибка! Не найдено название товара!
03-12-2014 21:51:37: Конец парсинга
 

Надіслати
Поділитися на інших сайтах


ВСё понял! На онлайнере криво работает поиск, и по это причине добавляются ссылки не товара а отзывов этого товара. По этой причине не парсится товар с онлайнера. когда вставляешь ссылку врчную всё парчит замечательно. прошу поправить поиск товара на онлайнере.

Надіслати
Поділитися на інших сайтах


попробовал без прокси

куки включал и отключал

 

Куки не надо отключать

Попробуйте найти прокси с которого можно зайти на маркет из браузера и вставить его в парсер

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
Гість
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.