Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

[Поддержка] Парсер-менеджер товаров с торговых площадок


igyan
Модуль «Парсер-менеджер товаров с торговых площадок» знято з продажу
Ми підібрали схожі модулі інших розробників — їх можна придбати вже зараз.

Що можна обрати замість

Вирішують ту саму задачу, але іншим способом або частково.
SimplePars - Універсальний парсер для ІМ
Модуль SimplePars призначений для парсингу та наповнення інтернет магазину. Ідея модуля полягає в тому, щоб ви могли заварити чашку кави і спостерігати як ваш магазин наповнюється товарами. Адже набагато приємніше спостерігати за автоматичним завантаженням товару, ніж заповнювати кожну позицію власноруч.   Ціна модуля знижена з 32$ до 26$ у зв'язку з тим, що на даний момент мені важко надавати повноцінну технічну підтримку модуля. Зараз у мене немає можливості відповідати всім у приватних повідомленнях. Сподіваюся, що в майбутньому це зміниться :( З 20.09.2024, купуючи модуль, ви погоджуєтесь з тим, що технічна підтримка модуля вам не надаватиметься! Ви можете ставити свої запитання в темі модуля, де я та інші учасники нашої спільноти відповідатимуть за можливості.   Можливості модуля SimplePars Основні завдання які вирішує модуль це парсинг даних із сайту та подальше заповнення чи оновлення товарів в інтернет магазині. Ви можете як парсити безпосередньо в інтернет магазин, так і парсыты в Excel таблицю для подальшої обробки. У двох словах не описати що вміє робити модуль, тому позначу тільки основні моменти. - Повноцінний парсер, що дозволяє парсити сайти і наповнювати магазин товарами. - Крім завантаження можливе настроювання оновлення існуючих товарів, цін, залишків та інших елементів товару. - Автоматичне створення категорій, виробників, атрибутів, опцій, завантаження зображень та багато іншого. - Вбудований гнучкий збирач посилань, який допоможе зібрати посилання на необхідні товари. - Можлива ідентифікація товару за різними значеннями, детальніше про всі ідентифікатори ви можете дізнатися тут - Ідентифікатори - Доступна установка націнок будь-якої складності. - Парсинг / Складання SEO шаблонів та заповнення Мета даних товару, категорій, виробників. Заповнення SEO_URL - Формувати прайс csv з даними, що ви парсіте. Також прайси можна складати в готовому форматі для завантаження через АОП або будь-якого іншого завантажувача прайс листів. - Пошук заміна, потужний інструмент, що дозволяє вам нальоту змінювати інформацію. Тобто ви можете змінювати інформацію, яку ви парсите перед тим як зберегти її в товар або прайс. - Пошук заміна повністю підтримує регулярні вирази. - Модуль здатний парсити в багатопотоковому режимі. Що робить парсинг максимально швидким! - Можливість налаштувати запити для обходу блокування з боку донора. - Підтримка роботи з проксі. - Власний проксі чекер, що дозволяє відібрати проксі сервера, які будуть працювати з конкретним донором. - Можливе індивідуальне налаштування запитів, Налаштування Cookies, User-Agent, Надсилання власних заголовків Headers - Система логування, яка дозволяє контролювати процес парсингу на будь-якому етапі. - Система кешування сайту донора для безпечного парсингу. - Вбудований редактор посилань, що дозволяє групувати посилання за списками, та робити завантаження певних груп посилань. Так само відслідковувати посилання, які повертаються з помилками. - Парсинг із автоматичною авторизацією на сайті донорі. Інструкція з авторизації (Функція застаріла. Дана функція застаріла і про багато сайтів вже не буде працювати. Тобто гарнтії, що у вас буде працювати, я не даю.) - NEW Автоматичний парсинг за розкладом, за допомогою CRON - NEW Вбудований редактор товарів. Редактор товарів допоможе зробити фінальне виправлення товарів. Інструкція до редактора товарів - NEW Парсер документів XML/YML від постачальника. - NEW Парсинг сайтів із зображеннями у форматі WEBP!!!! Докладніше - NEW Розширення можливостей парсера власними PHP скриптами. Докладніше!!! - NEW Парсинг файлів у товар. Тепер ви можете парсить інструкції до товару або будь-які інші файли з сайту донора. Докладніше!!!   Ви можете вказати будь-яку кількість границь парсингу, на будь-які дані, що є в html коді сайту донора. SimplePars це універсальний інструмент, який допоможе вам наповнити ваш інтернет магазин. Зверніть увагу, що ви можете налаштувати парсинг на будь-які дані, і необов'язково вони повинні бути сумісні з opencart. Ви можете парсувати статті, відгуки, блоги.   SimplePars адаптовані під роботи з модулями. HYPER PRODUCT MODELS - NEW AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 2 AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 3 HYPER MULTI PRODUCT MODELS - NEW HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 2 HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 3 Ціни у опціях. Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 2 Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 3 Зображення у опціях. Опции с вводом количества, артикулом и изображением OC 2 Опции с вводом количества, артикулом и изображением OC 3 Изображения опций PRO Закупівельна ціна товару. CostPrice - закупочная цена товаров в opencart   І це мала частина тих завдань, які може виконати даний модуль. SimplePars розробляється як універсальний парсер, у нього немає чітких завдань, він має лише набір інструментів. А що ви побудуєте, маючи ці інструменти залежить тільки від вас.   Повна інструкція до модуля доступна за посиланням Інструкція до модуля SimplePars   Відео-уроки роботи з модулем доступні за посиланням Відео уроки з роботи з модулем SimplePars   Допоміжна програма для парсингу для десктопа. Завантажити для Windows Завантажити для Linux   Увага! Усі навчальні матеріали були написані російською.   Демо сайт для ознайомлення з інтерфейсом та можливостями модуля Зверніть увагу, що на демо сайті парсинг недоступний. http://demo.simplepars.top/admin/ Логин - demo Пароль - demo   Ліцензійна угода. Ознайомитись   Інструкція з встановлення. Установка SimplePars 1. Зайдіть у директорію вашої версії модуля та скопіюйте все в корінь сайту із заміною. 2. Введіть у рядку браузера ваш_сайт/inst.php і натисніть Enter. 3. Далі перейдіть до розділу Система->Користувачі->Групи користувачів->Адміністратор натисніть виділити все у двох розділах: Дозволити перегляд Дозволити редагувати Потім натисніть зберегти. 4. Зайдіть у "Модифікатори" або "Менеджер додатків" та натисніть Оновити. 5. Після цього видаліть у корені сайту файл inst.php Все, модуль встановлено. У розділі Каталог під пунктом Виробники з'явиться пункт SimplePars – це вхід у модуль.   Інструкція по оновленню 1. Завантажити вміст директорії з назвою вашої версії в корінь сайту. 2. Виконати ваш_сайт/inst.php 3. Видалити з кореня сайту файл inst.php   Після встановлення або оновлення я бачу білий екран або помилку 500 Якщо бачите білий екран, то вам необхідно перейти до архіву з модулем до директорії Other versions of PHP і там будуть лежати файли під всі версії php. Відкриваєте папку з ім'ям вашої версії php та завантажуєте вміст у корінь магазину...

Оновлене

SimplePars - Універсальний парсер для ІМ

1 200 грн
Придбати

Recommended Posts

Хороший модуль. Но вот что хотелось бы еще:

1. Возможно ли сделать поиск не только по названию и модели, а еще по полю UPC? Дело в том, что по названию у меня не ищется так как оно слишком длинное и включает в себя характеристики товара, а в поле модель у меня артикулы так как оно зарезервировано для другого модуля.

2. Возможно ли сделать парсинг по расписанию? Настроить чтоб с периодичностью, например, обновлялись цены и только у тех товаров у которых уже есть ссылки.

3. При изменении настроек модуля слетает фильтр в карточке товаров что не удобно.

Надіслати
Поділитися на інших сайтах


upc используется довольно редко, придется много переделывать, смысла особо нет

единственное как можно сделать по расписанию это через cron, но тут проблема, что модули запускается через админку с проверкой логина и токена, может и есть решение этой проблемы, но мне не известно

да фильтр слетает, может исправлю в обновлениях

Надіслати
Поділитися на інших сайтах

Добрый вечер! Огромное спасибо автору модуля,пользуюсь данным парсер-менеджером, все отлично. Но у меня есть к автору просьба по доработке данного модуля.

Парсер отличный, все делает так как нужно, но прайс-агрегатор в моем случае hotline с которого парсится информация время от времени меняет структуру строк в описании. На выходе мы получаем, что строки одних и тех же атрибутов не совпадают, что влечет за собой дубли. Это заметно при сравнении товаров, при выводе фильтров. Как вариант решения данной проблемы я бы предложил в данном модуле сделать функционал который позволяет выгрузить все атрибуты, поправить,а потом загрузить в нормальном виде.

Возможно я по дилетантски описал решение, прошу сильно не пинать, так как в программировании не силен.

Повторюсь: АВТОРУ ОГРОМНОЕ СПАСИБО ЗА МОДУЛЬ!!!

Надіслати
Поділитися на інших сайтах


upc используется довольно редко, придется много переделывать, смысла особо нет

единственное как можно сделать по расписанию это через cron, но тут проблема, что модули запускается через админку с проверкой логина и токена, может и есть решение этой проблемы, но мне не известно

да фильтр слетает, может исправлю в обновлениях

1. Согласен. Наверно это только мне нужно. Тогда не надо. Что-нибудь придумаю.

2. Если это сложно реализовать то не надо. Можно ли хотя бы сделать так, чтоб можно было отфильтровать только те товары у которых проставлены ссылки и вручную из админки запустить парсинг. Или добавить возможность запускать парсинг всех товаров со ссылками без необходимости выделения их галочками.

3. Отлично.

Есть еще пару вопросов:

4. Не для всех товаров на маркете есть своя страница. Иногда бывает что по названию выдается страница с предложениями от нескольких магазинов. Можно ли сделать парсинг с такой страницы? Например чтоб проставлялась минимальная цена.

5. Есть товары со статусом "Нет в продаже" Можно ли им выставлять цену 0 и количество 0.

Надіслати
Поділитися на інших сайтах


Добрый вечер! Огромное спасибо автору модуля,пользуюсь данным парсер-менеджером, все отлично. Но у меня есть к автору просьба по доработке данного модуля.

Парсер отличный, все делает так как нужно, но прайс-агрегатор в моем случае hotline с которого парсится информация время от времени меняет структуру строк в описании. На выходе мы получаем, что строки одних и тех же атрибутов не совпадают, что влечет за собой дубли. Это заметно при сравнении товаров, при выводе фильтров. Как вариант решения данной проблемы я бы предложил в данном модуле сделать функционал который позволяет выгрузить все атрибуты, поправить,а потом загрузить в нормальном виде.

Возможно я по дилетантски описал решение, прошу сильно не пинать, так как в программировании не силен.

Повторюсь: АВТОРУ ОГРОМНОЕ СПАСИБО ЗА МОДУЛЬ!!!

Здравствуйте, спасибо за отзыв,

 модуль сделан в первую очередь для парсинга, посмотрите в дополнениях есть множество модулей для экспорта/импорта, есть модуль пакетного изменения товаров, возможно он вам подойдет

Надіслати
Поділитися на інших сайтах

1. Согласен. Наверно это только мне нужно. Тогда не надо. Что-нибудь придумаю.

2. Если это сложно реализовать то не надо. Можно ли хотя бы сделать так, чтоб можно было отфильтровать только те товары у которых проставлены ссылки и вручную из админки запустить парсинг. Или добавить возможность запускать парсинг всех товаров со ссылками без необходимости выделения их галочками.

3. Отлично.

Есть еще пару вопросов:

4. Не для всех товаров на маркете есть своя страница. Иногда бывает что по названию выдается страница с предложениями от нескольких магазинов. Можно ли сделать парсинг с такой страницы? Например чтоб проставлялась минимальная цена.

5. Есть товары со статусом "Нет в продаже" Можно ли им выставлять цену 0 и количество 0.

При парсинге с яндекса нередко банят, выкидывают капчу  и тд., поэтому, по-моему нужен контроль. Если не хотите часто ставить галочку, сделайте настройку по выводу товаров 100-200-300 и делайте парсинг большого количества.  С других доноров проще, но представьте, если сразу несколько человек запустит парсинг всех товаров, это будет сродни DDOS атаки. Так что лучше давайте оставим так как есть

Насчет товаров без страниц, сам процесс парсинга состоит в разборе верстки донора, в парсере три донора, с других сайтов парсить не будет.

по последнему пункту попробую что-нибудь сделать

Надіслати
Поділитися на інших сайтах

Еще заметил что при поиске ссылок и при парсинге очиень сильно начинает тормозить сайт с которого идет парсинг. При этом другие сайты на этом же хостинге работают нормально. Хостинг не дешевый. Ресурсов достаточно. Можно ли оптимизировать производительность, чтоб сайтом можно было пользоваться. А то иногда совсем перестают страницы загружаться.

И еще вопрос по прокси. Как именно организована работа через список? Если IP прокси Яндекс заблокирует, то автоматом начнется работа через другой прокси в списке? Или проверка идет на уровне доступен прокси или нет?

Надіслати
Поділитися на інших сайтах


При парсинге большая нагрузка по http и на базу данных, поэтому и зависания. Если парсите через прокси, то плюс еще время ответа от прокси. Если использовать бесплатные прокси, которые могут не работать в момент парсинга, то скрипт будет ожидать таймаут ответа от прокси.

Работа через прокси- лист: парсер пытается достучаться до сайта через прокси, если получена страница с товаром, то идет работа с данными,

если получен бан, то выкинет капчу или должен браться следующий прокси.

хуже если нет ответа от прокси, парсер будет ждать 15 сек, только потом перейдет к следующему прокси

прокси при парсинге не удаляются, поэтому при следующем парсинге будут опять использоваться и нерабочие прокси, удаляются прокси только если нажать "проверка прокси"

Надіслати
Поділитися на інших сайтах

При парсинге большая нагрузка по http и на базу данных, поэтому и зависания.

Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга.

Надіслати
Поділитися на інших сайтах


Можно ли как то уменьшить нагрузку на базу? Может как-нибудь разграничить работу скрипта и сайта? Пусть скрипт будет работать дольше. Мне главное чтоб сайт открывался в процессе парсинга.

Разделить  не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение.

Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. 

Надіслати
Поділитися на інших сайтах

Надо делать отдельное приложение.

при адекватной цене думаю спрос будет приличный

 

Большие объемы лучше парсить в моменты наименьших нагрузок на сервер. 

или парсить на локалке, а потом синхронизировать с сервером

Надіслати
Поділитися на інших сайтах


Большие объемы лучше парсить в моменты наименьших нагрузок на сервер.

Так дело в том, что во время работы парсера нагрузка на сервер со стороны посетителей минимальная. Сайт просто перестает открываться.

 

Еще заметил такую вещь. Если нажимаю ссылку искать, то в процессе поиска сайт не открывается. Но после поиска может вылететь сообщение, что товар не найден. По идее должно быть только одно обращение к базе данных в момент запроса названия товара. Почему тогда во время поиска такая большая нагрузка на базу? Может как-то можно оптимизировать работу?

 

Разделить  не получится, вернее в таком варианте, когда парсер запущен как модуль. Надо делать отдельное приложение.

Сколько времени потребуется для написания такого приложения?

Надіслати
Поділитися на інших сайтах


Если парсите через прокси, то прибавьте время ответа от самого прокси

По времени не могу сказать, смотря с какого донора.

Надіслати
Поділитися на інших сайтах

с яндексом я бы не стал связываться, много проблем

с остальных, думаю за неделю можно справиться, но желания и времени заниматься нет

Надіслати
Поділитися на інших сайтах

Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники.

Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом?

Надіслати
Поділитися на інших сайтах


Спарсил большое количество товаров, спасибо, но есть такое замечание. Например товар в Яндекс.маркете кондиционер Самсунг блаблабла, парсим и получаем итог самсунг блаблабла, т.е. товар без названия самого вида техники.

Дело в том,что затрудняется поиск по сайту. Может быть можно решить другим способом?

Некоторые пользователи наоборот просили убрать название техники, оно вставляется  ,например, при парсинге с онлайнера. Можно добавить поле,   если вам нужно.

Надіслати
Поділитися на інших сайтах

Для яндекса  

в файл

admin\view\template\module\parsermanager.tpl строка 623 после строки

<form id="form_parsing" action="" method="POST">

добавьте

<input type="text" name="prefix" value="" size="50" placeholder="название товара">

на экране должно появиться поле

в файл строка 623

admin\controller\module\parsermanager.php

перед строкой 1377

MCurl::addMessage("Название товара: ".$product['title']);

добавьте

if(isset($this->request->post['prefix']) AND !empty($this->request->post['prefix'])){
  $product['title'] = $this->request->post['prefix'].' '.$product['title'];    
}

 

Надіслати
Поділитися на інших сайтах

Благодарю, видимо яндекс теперь не отдает название техники. а пишет сразу брендо-модель. 

Вот пример http://market.yandex.ru/product/6905922/?hid=4954975&text=Moulinex%20CE4000&srnum=1

Все таки лучше с хотлайна и онлайнера, если есть возможность :)

Надіслати
Поділитися на інших сайтах


Я написал вам как сделать, чтобы вы могли написать название вручную, у вас должно появится поле для ввода названия, попробуйте.

Надіслати
Поділитися на інших сайтах

Добрый день. Спасибо за отличный плагин.

Есть ли возможность указать парсеру на каком языке забирать данные с Hotline (рус./укр.)? Через кукисы например?

Здравствуйте, импортируйте куки с хотлайна с включенным украинским и загрузите в парсер. Как импортировать описано в приложении к парсеру, можно любым средством в браузере. Название файла должно быть cookie.txt. Я попробовал на лампах, получилось вставить.

Надіслати
Поділитися на інших сайтах

Приветствую. У меня перестал парситься Онлайнер. Там поиск изменился, может это связано ?

 

02-04-2015 11:00:23: Начало парсинга
02-04-2015 11:00:23: Cookie включены.
02-04-2015 11:00:23: Запрос: http://catalog.onliner.by/search?query=FMT-A750&charset=utf-8
02-04-2015 11:00:23: Удачный ответ от сервера
02-04-2015 11:00:23: Получено 6480 байт
02-04-2015 11:00:23: Конец парсинга

 

вот лог

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
Гість
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.