Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

[Поддержка] Парсер-менеджер товаров с торговых площадок


igyan
Модуль «Парсер-менеджер товаров с торговых площадок» знято з продажу
Ми підібрали схожі модулі інших розробників — їх можна придбати вже зараз.

Що можна обрати замість

Вирішують ту саму задачу, але іншим способом або частково.
SimplePars - Універсальний парсер для ІМ
Модуль SimplePars призначений для парсингу та наповнення інтернет магазину. Ідея модуля полягає в тому, щоб ви могли заварити чашку кави і спостерігати як ваш магазин наповнюється товарами. Адже набагато приємніше спостерігати за автоматичним завантаженням товару, ніж заповнювати кожну позицію власноруч.   Ціна модуля знижена з 32$ до 26$ у зв'язку з тим, що на даний момент мені важко надавати повноцінну технічну підтримку модуля. Зараз у мене немає можливості відповідати всім у приватних повідомленнях. Сподіваюся, що в майбутньому це зміниться :( З 20.09.2024, купуючи модуль, ви погоджуєтесь з тим, що технічна підтримка модуля вам не надаватиметься! Ви можете ставити свої запитання в темі модуля, де я та інші учасники нашої спільноти відповідатимуть за можливості.   Можливості модуля SimplePars Основні завдання які вирішує модуль це парсинг даних із сайту та подальше заповнення чи оновлення товарів в інтернет магазині. Ви можете як парсити безпосередньо в інтернет магазин, так і парсыты в Excel таблицю для подальшої обробки. У двох словах не описати що вміє робити модуль, тому позначу тільки основні моменти. - Повноцінний парсер, що дозволяє парсити сайти і наповнювати магазин товарами. - Крім завантаження можливе настроювання оновлення існуючих товарів, цін, залишків та інших елементів товару. - Автоматичне створення категорій, виробників, атрибутів, опцій, завантаження зображень та багато іншого. - Вбудований гнучкий збирач посилань, який допоможе зібрати посилання на необхідні товари. - Можлива ідентифікація товару за різними значеннями, детальніше про всі ідентифікатори ви можете дізнатися тут - Ідентифікатори - Доступна установка націнок будь-якої складності. - Парсинг / Складання SEO шаблонів та заповнення Мета даних товару, категорій, виробників. Заповнення SEO_URL - Формувати прайс csv з даними, що ви парсіте. Також прайси можна складати в готовому форматі для завантаження через АОП або будь-якого іншого завантажувача прайс листів. - Пошук заміна, потужний інструмент, що дозволяє вам нальоту змінювати інформацію. Тобто ви можете змінювати інформацію, яку ви парсите перед тим як зберегти її в товар або прайс. - Пошук заміна повністю підтримує регулярні вирази. - Модуль здатний парсити в багатопотоковому режимі. Що робить парсинг максимально швидким! - Можливість налаштувати запити для обходу блокування з боку донора. - Підтримка роботи з проксі. - Власний проксі чекер, що дозволяє відібрати проксі сервера, які будуть працювати з конкретним донором. - Можливе індивідуальне налаштування запитів, Налаштування Cookies, User-Agent, Надсилання власних заголовків Headers - Система логування, яка дозволяє контролювати процес парсингу на будь-якому етапі. - Система кешування сайту донора для безпечного парсингу. - Вбудований редактор посилань, що дозволяє групувати посилання за списками, та робити завантаження певних груп посилань. Так само відслідковувати посилання, які повертаються з помилками. - Парсинг із автоматичною авторизацією на сайті донорі. Інструкція з авторизації (Функція застаріла. Дана функція застаріла і про багато сайтів вже не буде працювати. Тобто гарнтії, що у вас буде працювати, я не даю.) - NEW Автоматичний парсинг за розкладом, за допомогою CRON - NEW Вбудований редактор товарів. Редактор товарів допоможе зробити фінальне виправлення товарів. Інструкція до редактора товарів - NEW Парсер документів XML/YML від постачальника. - NEW Парсинг сайтів із зображеннями у форматі WEBP!!!! Докладніше - NEW Розширення можливостей парсера власними PHP скриптами. Докладніше!!! - NEW Парсинг файлів у товар. Тепер ви можете парсить інструкції до товару або будь-які інші файли з сайту донора. Докладніше!!!   Ви можете вказати будь-яку кількість границь парсингу, на будь-які дані, що є в html коді сайту донора. SimplePars це універсальний інструмент, який допоможе вам наповнити ваш інтернет магазин. Зверніть увагу, що ви можете налаштувати парсинг на будь-які дані, і необов'язково вони повинні бути сумісні з opencart. Ви можете парсувати статті, відгуки, блоги.   SimplePars адаптовані під роботи з модулями. HYPER PRODUCT MODELS - NEW AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 2 AJAX замена товара по моделям - HYPER PRODUCT MODELS - OC 3 HYPER MULTI PRODUCT MODELS - NEW HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 2 HYPER MULTI PRODUCT MODELS - AJAX Мульти замена товара по моделям - OC 3 Ціни у опціях. Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 2 Обновление цены при выборе опции, без AJAX - HYPER Dynamic price of options - OC 3 Зображення у опціях. Опции с вводом количества, артикулом и изображением OC 2 Опции с вводом количества, артикулом и изображением OC 3 Изображения опций PRO Закупівельна ціна товару. CostPrice - закупочная цена товаров в opencart   І це мала частина тих завдань, які може виконати даний модуль. SimplePars розробляється як універсальний парсер, у нього немає чітких завдань, він має лише набір інструментів. А що ви побудуєте, маючи ці інструменти залежить тільки від вас.   Повна інструкція до модуля доступна за посиланням Інструкція до модуля SimplePars   Відео-уроки роботи з модулем доступні за посиланням Відео уроки з роботи з модулем SimplePars   Допоміжна програма для парсингу для десктопа. Завантажити для Windows Завантажити для Linux   Увага! Усі навчальні матеріали були написані російською.   Демо сайт для ознайомлення з інтерфейсом та можливостями модуля Зверніть увагу, що на демо сайті парсинг недоступний. http://demo.simplepars.top/admin/ Логин - demo Пароль - demo   Ліцензійна угода. Ознайомитись   Інструкція з встановлення. Установка SimplePars 1. Зайдіть у директорію вашої версії модуля та скопіюйте все в корінь сайту із заміною. 2. Введіть у рядку браузера ваш_сайт/inst.php і натисніть Enter. 3. Далі перейдіть до розділу Система->Користувачі->Групи користувачів->Адміністратор натисніть виділити все у двох розділах: Дозволити перегляд Дозволити редагувати Потім натисніть зберегти. 4. Зайдіть у "Модифікатори" або "Менеджер додатків" та натисніть Оновити. 5. Після цього видаліть у корені сайту файл inst.php Все, модуль встановлено. У розділі Каталог під пунктом Виробники з'явиться пункт SimplePars – це вхід у модуль.   Інструкція по оновленню 1. Завантажити вміст директорії з назвою вашої версії в корінь сайту. 2. Виконати ваш_сайт/inst.php 3. Видалити з кореня сайту файл inst.php   Після встановлення або оновлення я бачу білий екран або помилку 500 Якщо бачите білий екран, то вам необхідно перейти до архіву з модулем до директорії Other versions of PHP і там будуть лежати файли під всі версії php. Відкриваєте папку з ім'ям вашої версії php та завантажуєте вміст у корінь магазину...

Оновлене

SimplePars - Універсальний парсер для ІМ

1 200 грн
Придбати

Recommended Posts

ВСё понял! На онлайнере криво работает поиск, и по это причине добавляются ссылки не товара а отзывов этого товара. По этой причине не парсится товар с онлайнера. когда вставляешь ссылку врчную всё парчит замечательно. прошу поправить поиск товара на онлайнере.

Я посмотрю, глючить может если есть точное совпадение, онлайнер перенаправляет на страницу с товаром, на этой странице нет ссылки на товар и я ее попытался склеить, похоже получилось не очень

Надіслати
Поділитися на інших сайтах

пол дня парсер работал на ура, проксей порядка 50 штук было............... а теперь снова............... Ошибка парсинга. Не найдены элементы!

 

05-12-2014 17:34:10: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=10745041&hid=294661&show-uid=740769914093286341&track=mdlttl
05-12-2014 17:34:10: Начало парсинга
05-12-2014 17:34:10: Cookie включены.
05-12-2014 17:34:10: Запрос: http://market.yandex.ru/model.xml?modelid=10745041&hid=294661&show-uid=740769914093286341&track=mdlttl
05-12-2014 17:34:10: Перенаправление -> http://market.yandex.ru
05-12-2014 17:34:10: Запрос: http://market.yandex.ru
05-12-2014 17:34:12: Удачный ответ от сервера
05-12-2014 17:34:12: Получено 37349 байт
05-12-2014 17:34:12: Ошибка! Не найдено название товара!
05-12-2014 17:34:12: Конец парсинга

Надіслати
Поділитися на інших сайтах


Есть у такие подозрения, что яндекс, если большая нагрузка, включает какие-то фильтры и отсеивает часть трафика. В разное время капча выскакивает, бывает не выскакивает.

Надіслати
Поділитися на інших сайтах

При парсинге с отметкой менять название, меняет модель. Как исправить?

сделал по просьбе трудящихся

удалите строки

$data['model'] =  $data1['model'];

 

строки 995 и 1095

Надіслати
Поділитися на інших сайтах

При парсинге с отметкой менять название, меняет модель. Как исправить?

а у вас при прижатой галке меняет именно модель? а название остаётся прежним?

у меня если поставить галку меняется и модель и название товара

по совету автора добавлял строки, чтоб менялась только модель

 

 

Есть у такие подозрения, что яндекс, если большая нагрузка, включает какие-то фильтры и отсеивает часть трафика. В разное время капча выскакивает, бывает не выскакивает.

вожусь со вчерашнего обеда - пишет Ошибка парсинга. Не найдены элементы!, перепробовал уже все варианты (куки, прокси),один чёрт, да и капча не появляется...

работа стоит... печалька :о(

Надіслати
Поділитися на інших сайтах


вожусь со вчерашнего обеда - пишет Ошибка парсинга. Не найдены элементы!, перепробовал уже все варианты (куки, прокси),один чёрт, да и капча не появляется...

работа стоит... печалька :о(

посмотрите что яндекс за странице отдает

добавьте после сторки 1246

$content =  $this->getContentParser($url);

вот это

echo $content; exit;

Надіслати
Поділитися на інших сайтах

добавил

выдает страницу яндекса и сверху это

HTTP/1.1 200 OK Server: nginx Date: Sun, 07 Dec 2014 08:01:01 GMT Content-Type: text/html; charset=UTF-8 Transfer-Encoding: chunked Connection: keep-alive Keep-Alive: timeout=120 Cache-Control: max-age=0, proxy-revalidate Expires: Sun, 07 Dec 2014 08:01:01 GMT X-Frame-Options: SAMEORIGIN X-Powered-By: Zinger XSCRIPT_PARENT_REQID_SEQ: 217c5f0d5e385483c473a5c79572e9f6,800c51d15a153cb00dd84e81b587a605,2ca1dc6f41c8acf0b83d60d3dc6b03f2,d2e238ec09377186768ca161e74ab11c,7b4bc25ac492f2edf211809416be5a47 Set-Cookie: yandexmarket=10,RUR,1,,,,2,0,0; domain=.market.yandex.ru; path=/; expires=Tue, 19 Jan 2038 03:14:07 GMT Content-Encoding: gzip

Надіслати
Поділитися на інших сайтах


похоже перенаправляет на главную маркета,

куки удалять пробовали? по идее должна капча появиться

можете удалить изображение

Надіслати
Поділитися на інших сайтах

похоже перенаправляет на главную маркета,

куки удалять пробовали? по идее должна капча появиться

можете удалить изображение

ну да, на главную

почистил куки в браузере, снова загрузил свежий файл с куками: с прокси - Ошибка парсинга. Не найдены элементы!, без прокси - дало спарсить десять товаров, потом снова Ошибка парсинга. Не найдены элементы!

удалил/отключил куки в модуле - спарсило один товар и снова Ошибка парсинга. Не найдены элементы!

Надіслати
Поділитися на інших сайтах


отключать не надо, сейчас без кук яндекс не отдает страницу, будет постоянно капча, я проверял так даже в браузере

пробуйте если не парсит удалять куки и парсить без прокси

Надіслати
Поділитися на інших сайтах

в модуле:

куки включены, но нажата кнопка удалить, без прокси - я правильно понял?

Ошибка парсинга. Не найдены элементы!

 

07-12-2014 19:18:08: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=8220235
07-12-2014 19:18:08: Начало парсинга
07-12-2014 19:18:08: Cookie включены.
07-12-2014 19:18:08: Запрос: http://market.yandex.ru/model.xml?modelid=8220235
07-12-2014 19:18:08: Перенаправление -> http://market.yandex.ru
07-12-2014 19:18:08: Запрос: http://market.yandex.ru
07-12-2014 19:18:09: Удачный ответ от сервера
07-12-2014 19:18:09: Получено 35770 байт
07-12-2014 19:18:10: Ошибка! Не найдено название товара!
07-12-2014 19:18:10: Конец парсинга

Надіслати
Поділитися на інших сайтах


Опять перенаправило на главную,

вставьте новую ссылку напрямую с яндекса, удалите куки и попробуйте парсить

Надіслати
Поділитися на інших сайтах

может яндекс забанил ип вашего сервера, что даже на капчу не перекидавает, а сразу перенаправляет на главную

остается пробовать через прокси с куками и удалять куки после неудачного парсинга

Надіслати
Поділитися на інших сайтах

ну вот сейчас дало спарсить ещё один товар.

по бану врядли, всегда работал через прокси. как проверить на бан?

пробую с проксями и с куками..... и опять Ошибка парсинга. Не найдены элементы!

Надіслати
Поділитися на інших сайтах


удалил несколько проксей из листа

начило парсить

потом капча

ввёл

снова парсит

на долго ли?

 

21:57

теперь так в логе, хотя при проверке выдаёт около 80 рабочих проксиков

07-12-2014 20:58:09: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:09: Начало парсинга
07-12-2014 20:58:09: Cookie включены.
07-12-2014 20:58:09: Парсинг через прокси: 111.13.2.138:80
07-12-2014 20:58:09: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:11: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:11: Парсинг через прокси: 111.13.2.140:80
07-12-2014 20:58:11: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:12: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:12: Парсинг через прокси: 111.13.109.54:80
07-12-2014 20:58:12: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:14: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:14: Парсинг через прокси: 111.13.2.130:80
07-12-2014 20:58:14: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:15: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:15: Парсинг через прокси: 111.13.2.139:80
07-12-2014 20:58:15: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:17: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:17: Парсинг через прокси: 111.13.109.52:80
07-12-2014 20:58:17: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:19: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:19: Парсинг через прокси: 117.177.242.249:80
07-12-2014 20:58:19: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:20: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:20: Парсинг через прокси: 183.224.1.30:80
07-12-2014 20:58:20: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:22: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:22: Парсинг через прокси: 125.39.66.66:80
07-12-2014 20:58:22: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:24: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:24: Парсинг через прокси: 120.131.128.211:80
07-12-2014 20:58:24: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:25: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:25: Парсинг через прокси: 119.6.136.126:80
07-12-2014 20:58:25: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:27: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:27: Парсинг через прокси: 120.131.128.210:80
07-12-2014 20:58:27: Запрос: http://market.yandex.ru/model.xml?modelid=9350808&hid=90580&show-uid=632178914121408011&track=mdlttl
07-12-2014 20:58:29: Неудачный ответ от сервера: 404, попробуйте позже
07-12-2014 20:58:29: В прокси-листе нет рабочих адресов...
07-12-2014 20:58:29: Задержка : 30 секунд.
07-12-2014 20:58:59: Конец парсинга
 

Надіслати
Поділитися на інших сайтах


такое ощущение, что яша поменял что то в вёрстке. некоторые ссылки на товары в парсере, которые до этого парсились, теперь выдают, что товар не найден. ищещ по новой этот товар, меняешь ссылку - парсица..........

или по ссылке из парсера товар есть, но парсинг не проходит. по новой меняем ссылку - парсица

Надіслати
Поділитися на інших сайтах


Скорее всего дело в ссылках, яндекс передает в них дополнительные параметры, в ранних версиях парсера ссылки обрезались, раньше так прокатывало.

 Сейчас я сделал чтобы они сохранялись полностью.

Надіслати
Поділитися на інших сайтах

вот две ссылки на один и тот же товар:

старая

http://market.yandex.ru/model.xml?modelid=10552008

и новая
http://market.yandex.ru/model.xml?modelid=10552008&hid=90566&show-uid=458980814180359301&track=mdlimg&track=mdlttl

обе отдают при переходе одну и туже страницу на яше

по одной парситса, по другой нет

хотя бывает, что и по ссылке второго типа парсится с о второго, третьего раза или не парсится вообще... :cry:

 

когда примерно было обновление модуля в котором не обрезаются ссылки?

 

P.S. и можно ли как то определить у каких товаров ссылки резаные ? (не нажимая у каждого товара на парсинг, может как то выгрузить таблицу с ссылками и в ней отсортировать по какому нибудь признаку)

 

и ещё вопрос иногда при парсинге бывает две надписи

Список товаров обновлен!
Ошибка парсинга. Не найдены элементы!
в логе следующее
08-12-2014 12:44:08: Ссылка на товар:http://market.yandex.ru/model.xml?modelid=8464809&hid=90566&show-uid=374187214093433051&track=mdlttl
08-12-2014 12:44:08: Начало парсинга
08-12-2014 12:44:08: Cookie включены.
08-12-2014 12:44:08: Парсинг через прокси: 37.49.137.243:80
08-12-2014 12:44:08: Запрос: http://market.yandex.ru/model.xml?modelid=8464809&hid=90566&show-uid=374187214093433051&track=mdlttl
08-12-2014 12:44:10: Удачный ответ от сервера
08-12-2014 12:44:10: Получено 62611 байт
08-12-2014 12:44:10: Название товара: Whirlpool AWO/C 6104
08-12-2014 12:44:10: Конец парсинга
 
в чём тут проблема?
Надіслати
Поділитися на інших сайтах


точно не помню, обрезалось в первых версиях, все что после первого амперсанда

можно в базе в таблице parser_urs, посмотреть ссылки которые не содержат что-нибудь из

&hid=

&show-uid=

&track=mdlimg

&track=mdlttl

Надіслати
Поділитися на інших сайтах

А в модуль можно добавить sotmarket.ru ?

Надо посмотреть что там с количеством товаров, атрибутами, фото. Давно хотел еще добить доноров, но постоянно возникают проблемы с существующими.

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
Гість
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.