Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

[Поддержка] Парсер-менеджер товаров с торговых площадок


igyan
Модуль «Парсер-менеджер товаров с торговых площадок» знято з продажу
Ми підібрали схожі модулі інших розробників — їх можна придбати вже зараз.

Що можна обрати замість

Вирішують ту саму задачу, але іншим способом або частково.
SimplePars - Універсальний парсер для ІМ
Модуль SimplePars призначений для парсингу та наповнення інтернет магазину. Ідея модуля полягає в тому, щоб ви могли заварити чашку кави і спостерігати як ваш магазин наповнюється товарами. Адже набагато приємніше спостерігати за автоматичним завантаженням товару, ніж заповнювати кожну позицію власноруч.   Ціна модуля знижена з 32$ до 26$ у зв'язку з тим, що на даний момент мені важко надавати повноцінну технічну підтримку модуля. Зараз у мене немає можливості відповідати всім у приватних повідомленнях. Сподіваюся, що в майбутньому це зміниться :( З 20.09.2024, купуючи модуль, ви погоджуєтесь з тим, що технічна підтримка модуля вам не надаватиметься! Ви можете ставити свої запитання в темі модуля, де я та інші учасники нашої спільноти відповідатимуть за можливості.   Можливості модуля SimplePars Основні завдання які вирішує модуль це парсинг даних із сайту та подальше заповнення чи оновлення товарів в інтернет магазині. Ви можете як парсити безпосередньо в інтернет магазин, так і парсыты в Excel таблицю для подальшої обробки. У двох словах не описати що вміє робити модуль, тому позначу тільки основні моменти. - Повноцінний парсер, що дозволяє парсити сайти і наповнювати магазин товарами. - Крім завантаження можливе настроювання оновлення існуючих товарів, цін, залишків та інших елементів товару. - Автоматичне створення категорій, виробників, атрибутів, опцій, завантаження зображень та багато іншого. - Вбудований гнучкий збирач посилань, який допоможе зібрати посилання на необхідні товари. - Можлива ідентифікація товару за різними значеннями, детальніше про всі ідентифікатори ви можете дізнатися тут - Ідентифікатори - Доступна установка націнок будь-якої складності. - Парсинг / Складання SEO шаблонів та заповнення Мета даних товару, категорій, виробників. Заповнення SEO_URL - Формувати прайс csv з даними, що ви парсіте. Також прайси можна складати в готовому форматі для завантаження через АОП або будь-якого іншого завантажувача прайс листів. - Пошук заміна, потужний інструмент, що дозволяє вам нальоту змінювати інформацію. Тобто ви можете змінювати інформацію, яку ви парсите перед тим як зберегти її в товар або прайс. - Пошук заміна повністю підтримує регулярні вирази. - Модуль здатний парсити в багатопотоковому режимі. Що робить парсинг максимально швидким! - Можливість налаштувати запити для обходу блокування з боку донора. - Підтримка роботи з проксі. - Власний проксі чекер, що дозволяє відібрати проксі сервера, які будуть працювати з конкретним донором. - Можливе індивідуальне налаштування запитів, Налаштування Cookies, User-Agent, Надсилання власних заголовків Headers - Система логування, яка дозволяє контролювати процес парсингу на будь-якому етапі. - Система кешування сайту донора для безпечного парсингу. - Вбудований редактор посилань, що дозволяє групувати посилання за списками, та робити завантаження певних груп посилань. Так само відслідковувати посилання, які повертаються з помилками. - Парсинг із автоматичною авторизацією на сайті донорі. Інструкція з авторизації (Функція застаріла. Дана функція застаріла і про багато сайтів вже не буде працювати. Тобто гарнтії, що у вас буде працювати, я не даю.) - NEW Автоматичний парсинг за розкладом, за допомогою CRON - NEW Вбудований редактор товарів. Редактор товарів допоможе зробити фінальне виправлення товарів. Інструкція до редактора товарів - NEW Парсер документів XML/YML від постачальника. - NEW Парсинг сайтів із зображеннями у форматі WEBP!!!! Докладніше - NEW Розширення можливостей парсера власними PHP скриптами. Докладніше!!! - NEW Парсинг файлів у товар. Тепер ви можете парсить інструкції до товару або будь-які інші файли з сайту донора. Докладніше!!!   Ви можете вказати будь-яку кількість границь парсингу, на будь-які дані, що є в html коді сайту донора. SimplePars це універсальний інструмент, який допоможе вам наповнити ваш інтернет магазин. Зверніть увагу, що ви можете налаштувати парсинг на будь-які дані, і необов'язково вони повинні бути сумісні з opencart. Ви можете парсувати статті, відгуки, блоги.   SimplePars адаптовані під роботи з модулями. HYPER PRODUCT MODELS - NEW AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 2 AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 3 HYPER MULTI PRODUCT MODELS - NEW HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 2 HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 3 Ціни у опціях. Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 2 Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 3 Зображення у опціях. Опции с вводом количества, артикулом и изображением OC 2 Опции с вводом количества, артикулом и изображением OC 3 Изображения опций PRO Закупівельна ціна товару. CostPrice - закупочная цена товаров в opencart   І це мала частина тих завдань, які може виконати даний модуль. SimplePars розробляється як універсальний парсер, у нього немає чітких завдань, він має лише набір інструментів. А що ви побудуєте, маючи ці інструменти залежить тільки від вас.   Повна інструкція до модуля доступна за посиланням Інструкція до модуля SimplePars   Відео-уроки роботи з модулем доступні за посиланням Відео уроки з роботи з модулем SimplePars   Допоміжна програма для парсингу для десктопа. Завантажити для Windows Завантажити для Linux   Увага! Усі навчальні матеріали були написані російською.   Демо сайт для ознайомлення з інтерфейсом та можливостями модуля Зверніть увагу, що на демо сайті парсинг недоступний. http://demo.simplepars.top/admin/ Логин - demo Пароль - demo   Ліцензійна угода. Ознайомитись   Інструкція з встановлення. Установка SimplePars 1. Зайдіть у директорію вашої версії модуля та скопіюйте все в корінь сайту із заміною. 2. Введіть у рядку браузера ваш_сайт/inst.php і натисніть Enter. 3. Далі перейдіть до розділу Система->Користувачі->Групи користувачів->Адміністратор натисніть виділити все у двох розділах: Дозволити перегляд Дозволити редагувати Потім натисніть зберегти. 4. Зайдіть у "Модифікатори" або "Менеджер додатків" та натисніть Оновити. 5. Після цього видаліть у корені сайту файл inst.php Все, модуль встановлено. У розділі Каталог під пунктом Виробники з'явиться пункт SimplePars – це вхід у модуль.   Інструкція по оновленню 1. Завантажити вміст директорії з назвою вашої версії в корінь сайту. 2. Виконати ваш_сайт/inst.php 3. Видалити з кореня сайту файл inst.php   Після встановлення або оновлення я бачу білий екран або помилку 500 Якщо бачите білий екран, то вам необхідно перейти до архіву з модулем до директорії Other versions of PHP і там будуть лежати файли під всі версії php. Відкриваєте папку з ім'ям вашої версії php та завантажуєте вміст у корінь магазину...

Оновлене

SimplePars - Універсальний парсер для ІМ

1 200 грн
Придбати

Recommended Posts

страница должна обновляться, отданным контентом

хотя при массовом поиске не помню проверял это или нет, попробуйте

Жму "найти товар", ввожу там "ga-1000-1a", нахожу карточку, жму "выбрать", жму "показать страницу", вижу http://prnt.sc/c7cjrt  хотя ссылка нашлась, можно выбрать, все сработает. У меня вроде бы всегда так было, это вряд ли показатель.

 

Что значит "проверить парсер через прокси в браузерах"? Подключить в браузере прокси и полистать маркет? Или подключить в браузере прокси и попользоваться модулем? Или что-то другое? Что нужно увидеть, если прокси работает нормально?

Надіслати
Поділитися на інших сайтах

установите прокси в настройках браузера, если прокси не рабочий будет ошибка,

internal server error тоже может быть по вине прокси

Надіслати
Поділитися на інших сайтах

установите прокси в настройках браузера, если прокси не рабочий будет ошибка,

internal server error тоже может быть по вине прокси

Установил, маркет в браузере работает, айпи подменился: http://prntscr.com/c7d2br

Надіслати
Поділитися на інших сайтах

значит прокси работает,

сложно сказать как поведет себя прокси при массовом парсинге

Надіслати
Поділитися на інших сайтах

значит прокси работает,

сложно сказать как поведет себя прокси при массовом парсинге

Что делать в таком случае?

Насколько я помню, если проблема с прокси/баном маркета - выдается ошибка "Много перенаправлений..." или ничего не пишется в логе. Но в данном случае: 

18-08-2016 16:37:13: Удачный ответ от сервера

18-08-2016 16:37:13: Получено 70970 байт
Указал около 100 ссылок на карточки вручную, запустил парсер - все успешно спарсилось. Но ссылки так и отказывало находить. 
Надіслати
Поділитися на інших сайтах

посмотрите при поиске ссылок срабатывает задержка между парсингом

хорошо бы увидеть что за страницу отдал парсер при ошибке, посмотрите что в

/download/content.htm

Надіслати
Поділитися на інших сайтах

Да, задержка срабатывает, в логе она тоже указывается: 19-08-2016 02:35:58: Задержка : 3 секунд.

Ошибка была и при парсинге одного товара, там задержка ни к чему. 
В content.htm много кода, похожего на страницу маркета, в первых двух строчках:
HTTP/1.0 200 Connection established
HTTP/1.1 200 OK
Важно что в остальных?
 
 
 
UPD: вроде бы ожил парсер каким-то чудом...ссылки стали снова находиться и прикрепляться к товарам. Не ясно из-за чего ожил, и из-за чего не работал.
Змінено користувачем dexion
Надіслати
Поділитися на інших сайтах

 

Да, задержка срабатывает, в логе она тоже указывается: 19-08-2016 02:35:58: Задержка : 3 секунд.

Ошибка была и при парсинге одного товара, там задержка ни к чему. 
В content.htm много кода, похожего на страницу маркета, в первых двух строчках:
HTTP/1.0 200 Connection established
HTTP/1.1 200 OK
Важно что в остальных?
 

как раз в в остальных строках и будет страница

Надіслати
Поділитися на інших сайтах

  • 2 weeks later...

упил модуль для 2.0 но в после установки он не открывается, ошибка

Notice: Indirect modification of overloaded property ControllerModuleparsermanager::$data has no effect in /home/users/m/mobdevs/domains/isto

вы купили для 1,5

для 2,0 нужно дополнительно  оплатить 350 р

Надіслати
Поділитися на інших сайтах

На ocStore 2.1.0.2.1 запустится? И есть ли возможность посмотреть где нибудь демо?

На ocStore 2.1 запустится. на 2,2 запускается, но бывают выскакивают предупреждения, парсинг работает

демо для пока 2 нет, возможно сделаю 

Надіслати
Поділитися на інших сайтах

  • 2 weeks later...

Добрый день

Маркет обновил верстку, парсер похоже перестал из-за этого работать. При попытке парсинга пишет:

19-09-2016 18:13:33: Ссылка на товар:https://market.yandex.ru/product/10975061

19-09-2016 18:13:33: Начало парсинга
19-09-2016 18:13:33: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0
19-09-2016 18:13:33: Cookie включены.
19-09-2016 18:13:33: Парсинг через прокси: *** пользователь: ***
19-09-2016 18:13:33: Запрос: https://market.yandex.ru/product/10975061
19-09-2016 18:13:34: Удачный ответ от сервера
19-09-2016 18:13:34: Получено 62355 байт
19-09-2016 18:13:34: Ошибка! Не найдено название товара!
19-09-2016 18:13:34: Конец парсинга
 
В демо та же ошибка.
Как скоро сможете поправить?
Надіслати
Поділитися на інших сайтах

после обновления модуля ссылки не пропадут? 

 

плюс не работают другие парсеры http://m.ua/ вообще не понятно что парсит(атрибутов нет, описаний нет, названия не понятные) типо этого  Характеристики и описание BSN Amino X [Amino X 435 g]

http://hotline.ua/ вообще не работает, причем давно.  Ошибка парсинга. Не найдены элементы!

вопросов нет только к онлайнеру, парсит идеально.

 

по маркету еще такая проблема, если искать товар в модуле то постоянно появляется капча, очень часто, так не должно быть, ведь я так же ищу на самом маркете на их сайте и кодов там не бывает, видимо от модуля не правильный запрос идет, может куки не полностью цепляет? или еще что.

Змінено користувачем axor
Надіслати
Поділитися на інших сайтах


исправил парсер с яндекса, пока только тестовая версия на 8 часов до 16:00 22.09.16

заменить \admin\controller\module\parsermanager.php,

если будут проблемы с парсингом товаров указывать ссылки на товары

если с поиском указывать название товара

массовый поиск запускать не надо

до конца недели рассмотрю замечания и исправлю

 

что касается остальных парсеров

m.ua - был неудачный донор, надо будет  заменить

с hotlina работает с прокси, идеальный вариант парсинг с локалки с разблокировкой капчи в браузере, но товары надо переносить на хостинг

при поиске на яндексе в браузере вы заходите на основную страницу маркета, затем ищите товар, естественно в браузер с каждой страницы записываются куки, и они будут правильные

при поиске в парсере сразу идет посковый запрос, что не совсем правильно и яндекс может выкинуть капчу

я поменял поисковый запрос, возможно будет лучше, в любом случае нужно периодически подкидывать правильные куки из браузера

Надіслати
Поділитися на інших сайтах

Похоже при парсинге атрибутов ошибка:

22-09-2016 13:18:56: Начало парсинга

22-09-2016 13:18:56: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0
22-09-2016 13:18:56: Cookie включены.
22-09-2016 13:18:56: Парсинг через прокси: *** пользователь: ***
22-09-2016 13:18:56: Запрос: https://market.yandex.ru/product/10975061
22-09-2016 13:18:57: Удачный ответ от сервера
22-09-2016 13:18:57: Получено 66511 байт
22-09-2016 13:18:57: Название товара: LOCMAN 020000KBFOR1GOB
22-09-2016 13:18:57: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0
22-09-2016 13:18:57: Cookie включены.
22-09-2016 13:18:57: Парсинг через прокси: *** пользователь: ***
22-09-2016 13:18:58: Неудачный ответ от сервера: 404, попробуйте позже
22-09-2016 13:18:59: Конец парсинга
 
и 
отличаются наличием "/spec?" 
Змінено користувачем dexion
Надіслати
Поділитися на інших сайтах

С картинками и производителями тоже какая-то проблема:

22-09-2016 13:45:13: Ссылка на товар:https://market.yandex.ru/product/10625036

22-09-2016 13:45:13: Начало парсинга
22-09-2016 13:45:13: User agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:48.0) Gecko/20100101 Firefox/48.0
22-09-2016 13:45:13: Cookie включены.
22-09-2016 13:45:13: Парсинг через прокси: *** пользователь: ***
22-09-2016 13:45:13: Запрос: https://market.yandex.ru/product/10625036
22-09-2016 13:45:17: Удачный ответ от сервера
22-09-2016 13:45:17: Получено 66870 байт
22-09-2016 13:45:17: Название товара: LOCMAN 020300MKFFX0BR0
22-09-2016 13:45:17: Не найден производитель!
22-09-2016 13:45:17: Не найдены изображения!
22-09-2016 13:45:19: Конец парсинга
 
Цену спарсил, а картинку и производителя нет, хотя у товара они присутствуют. 
 
 
UPD: через 10 минут спарсил и картинку с производителем для этих же самых товаров. Но с первого раза почему то не прошло.
 
 
UPD2: у меня тоже проблема с поиском. Не ищет ссылки вообще. Парсит по добавленным вручную ссылкам исправно, а вот ссылки ни одной не находит, даже если жму "поиск" для одного товара. Выдает "много перенаправлений". Прокси рабочий, в браузере маркет с ним открывается нормально, куки не спасают. 
Змінено користувачем dexion
Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
Гість
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.