Jump to content

Recommended Posts

здравствуйте,

 

нужен модуль парсера xml файлов. только для получения файла и с возможностью конвертировать в csv 

 

1. методы get, post

2. запуск по cron со значениям профиля

 

в админке модуля:

1. название

2. профиль

3. метод

4. действия (просто загрузить / конвертировать в csv)

5. путь сохранения файла

 

цены, сроки, обсуждения итд в личку

Share this post


Link to post
Share on other sites

давайте обсуждения тут.

примеры файлов есть или хотите "волшебный комбайн"?

что за профили?

Share this post


Link to post
Share on other sites

тут так тут

конечно хочется комбайн :) ну ладно по делу:

1.название - названия задачи

2.профиль или ID - главный идентификатор задания (нужен для планировщика и идентификации задач)

3.выбор метода (get/пост) - отлично было бы как в Fiddler

4.действия (просто загрузить / конвертировать в csv)

- просто загрузить - загружается и сохраняется xml файл без конвертации в csv

- конвертировать в csv - конвертация и сохранения в файл csv

5.путь сохранения ( и название ) файла - тут все понятно, единственное добавляю, что надо и название сохраняемого файла, с перезаписью (типа: импорт/поставщик1/п1_товары.csv)

+ добавляю что еще надо:

6.ТЕГ xml файла - указывается ТЕГ xml файла который надо конвертировать в csv и родительский ТЕГ

т.е например если у нас xml такой

<feed>

<categories>

<category>

<id>1</id>

<parent_id>0</parent_id>

<name>Category Name</name>

</category>

</categories>

<products>

<product>

<id>00001</id>

<name>Product Name</name>

<description>its about</description>

<price>2.00</price>

<qty>4</qty>

<category>1</category>

</product>

</products>

</feed>

если надо товары указываем:

ТЕГ xml файла - <product>

родительский ТЕГ - <products>

после конвертации получаем csv

колонка 1 - id

колонка 2 - name

колонка 3 - description

колонка 4 - price

колонка 5 - qty

колонка 6 - category

если надо категории указываем:

ТЕГ xml файла - <category>

родительский ТЕГ - <categories>

после конвертации получаем csv

колонка 1 - id

колонка 2 - parent_id

колонка 3 - name

и не будет конфликтов с ТЕГ`ом <category> который под ТЕГ`ом <product>

если глубина тегов по больше (пример под спойлером) на выходе хотелось бы получить такой результат (заголовки колонок должны быть уникальными):

<products>

<product>

<id>00001</id>

<name>Product Name</name>

<description>its about</description>

<price>2.00</price>

<qty>4</qty>

<category>1</category>

<warehouse id="1">

<price>2.00</price>

<qty>4</qty>

<warehouse>

<warehouse id="2">

<price>2.50</price>

<qty>6</qty>

<warehouse>

<options>

<option name"color">

<color>red</color>

<qty>1</qty>

</option>

<option name"color">

<color>blue</color>

<qty>3</qty>

</option>

</options>

<related>

<id>00002</id>

<id>00003</id>

<id>00004</id>

</related>

</product>

</products>

колонка 1 - id

колонка 2 - name

колонка 3 - description

колонка 4 - price

колонка 5 - qty

колонка 6 - category

колонка 7 - warehouse 1 price

колонка 8 - warehouse 1 qty

колонка 9 - warehouse 2 price

колонка 10 - warehouse 2 qty

колонка 11 - options color color

колонка 12 - options color qty

колонка 13 - options color color 1

колонка 14 - options color qty 1

колонка 15 - related

колонка 16 - related 1

колонка 17 - related 2

да, получается комбайн, все не съест, но 90% моих xml'ок скушает

Share this post


Link to post
Share on other sites

3. зачем тут какие-то "методы"??? вы что-то недоговариваете или не понимаете.

7. для "скачивания" надо ж еще и ссылку указывать (+1 поле, как минимум).

по-моему тут потребуется промежуточный узел в виде бд для сохранения данных перед конвертацией, ибо в других случаях (если я правильно понимаю) мы не сможем построить правильный csv, если в первом товаре будет меньше данных (полей/столбцов), чем в последующих.

размеры/объемы (хотя бы примерные) ожидаемых xml-файлов известны?

Share this post


Link to post
Share on other sites
размеры пока встречались до 25 мб  

 

по методам:

 

так и думалось что:

если GET - используется поле для ссылки

если POST - используется поле для ссылки и request body

может быть этого и не надо но мне никак не удается взять SOAP методом GET..

 

да, про промежуточный узел Вы правы. Примерно так делается в Total Import PRO

Share this post


Link to post
Share on other sites

>> если POST - используется поле для ссылки и request body

>> может быть этого и не надо но мне никак не удается взять SOAP методом GET..

можно с примерами?

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Similar Content

    • By Rassol2
      1 600.00 руб
      Скачать/Купить дополнение


      SimplePars - Универсальный парсер для ИМ
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
       
      =====================================================================================================================
      ВНИМАНИЕ!!! Автор в отпуске с 10.12.2019 по 26.12.2019
      В этот период тех поддержка модуля будет предоставляться по мере и возможности.

      Если для вас критична техническая поддержка в модуле SimplePars, рекомендую воздержатся от приобретения модуля в этот период.
      Спасибо за понимание.
      =====================================================================================================================
       
      Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.
      Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

       
      Возможности модуля SimplePars
      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение интернет магазина.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в CSV файл для дальнейшей обработки. 
      Так же реализовано обновления товаров при помощи парсинга сайтов доноров. 
       
      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      1. Сбор ссылок на товары. Или на любые другие страницы сайта. Эти ссылки можно записать в таблицу csv. Либо использовать для наполнения вашего интернет магазина.
      2. Парсинг данных с сайта. Есть возможность парсить напрямую в интернет магазин, или же в файл csv. 
      3. Формировать прайс csv с данными что вы парсите. Так же прайсы можно формировать в готовом формате для загрузки через АОП. Или любого другого загрузчика прайс листов. 
      4. Заполнять интернет магазин новыми товарами.
      5. Обновлять товары, получать цены остатки с сайта донора.
       
      Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.
       
      При загрузке или обновлении товара, модуль поддерживает работу с :
      1) Кодом товара 
      2) Артикулом 
      3) Названием
      4) Ценой
      5) Количеством товара на складе
      6) Производителем
      7) Описанием
      8) Категориями
      9) Изображениями
      10) Атрибутами.

      Так же поддерживается: Создание новых категорий, атрибутов, загрузка изображения по ссылке, создание производителей.
      Формировать URL товаров и заполнять SEO данные товара, категорий, производителей.
       
      В данном модуле есть возможность парсить все данные в CSV файл
      Можно формировать прайс листы для загрузки их через популярные дополнения. 
      Такие как:
      Автоматическая обработка прайс листов. 
      CSV Price Pro import/export
       
      И это малая часть тех задач которые может выполнить данный модуль. Модуль разрабатывается как универсальный парсер у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты уже зависит только от вас. 
       
      Инструкция к модулю доступна по ссылке (На данный момент разрабатывается обновленная версия инструкции)
      https://simplepars.top/index.php?page=doc
       
      Демо сайт для ознакомления с интерфейсом и возможностями модуля
      Обратите внимание что на демо сайте парсинг недоступен.
      http://demo.simplepars.top/admin/
      Логин - demo
      Пароль - demo
       
      Обзор возможностей модуля
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр
      Разрешить редактировать
      Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php
      Все модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Выполнить ваш_сайт/inst.php
      3. Удалить с корня сайта файл inst.php
      Добавил Rassol2 Добавлено 28.10.2018 Категория Парсеры Системные требования PHP >= 5.6 Сайт разработчика https://simplepars.top/ Метод активации Без активации Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1 Обращение к серверу разработчика Нет Старая цена 0  
    • By Rassol2
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
       
      =====================================================================================================================
      ВНИМАНИЕ!!! Автор в отпуске с 10.12.2019 по 26.12.2019
      В этот период тех поддержка модуля будет предоставляться по мере и возможности.

      Если для вас критична техническая поддержка в модуле SimplePars, рекомендую воздержатся от приобретения модуля в этот период.
      Спасибо за понимание.
      =====================================================================================================================
       
      Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.
      Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

       
      Возможности модуля SimplePars
      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение интернет магазина.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в CSV файл для дальнейшей обработки. 
      Так же реализовано обновления товаров при помощи парсинга сайтов доноров. 
       
      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      1. Сбор ссылок на товары. Или на любые другие страницы сайта. Эти ссылки можно записать в таблицу csv. Либо использовать для наполнения вашего интернет магазина.
      2. Парсинг данных с сайта. Есть возможность парсить напрямую в интернет магазин, или же в файл csv. 
      3. Формировать прайс csv с данными что вы парсите. Так же прайсы можно формировать в готовом формате для загрузки через АОП. Или любого другого загрузчика прайс листов. 
      4. Заполнять интернет магазин новыми товарами.
      5. Обновлять товары, получать цены остатки с сайта донора.
       
      Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.
       
      При загрузке или обновлении товара, модуль поддерживает работу с :
      1) Кодом товара 
      2) Артикулом 
      3) Названием
      4) Ценой
      5) Количеством товара на складе
      6) Производителем
      7) Описанием
      8) Категориями
      9) Изображениями
      10) Атрибутами.

      Так же поддерживается: Создание новых категорий, атрибутов, загрузка изображения по ссылке, создание производителей.
      Формировать URL товаров и заполнять SEO данные товара, категорий, производителей.
       
      В данном модуле есть возможность парсить все данные в CSV файл
      Можно формировать прайс листы для загрузки их через популярные дополнения. 
      Такие как:
      Автоматическая обработка прайс листов. 
      CSV Price Pro import/export
       
      И это малая часть тех задач которые может выполнить данный модуль. Модуль разрабатывается как универсальный парсер у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты уже зависит только от вас. 
       
      Инструкция к модулю доступна по ссылке (На данный момент разрабатывается обновленная версия инструкции)
      https://simplepars.top/index.php?page=doc
       
      Демо сайт для ознакомления с интерфейсом и возможностями модуля
      Обратите внимание что на демо сайте парсинг недоступен.
      http://demo.simplepars.top/admin/
      Логин - demo
      Пароль - demo
       
      Обзор возможностей модуля
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр
      Разрешить редактировать
      Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php
      Все модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Выполнить ваш_сайт/inst.php
      3. Удалить с корня сайта файл inst.php
    • By matroskin92
      Умный парсер - это модуль, позволяющий выполнить рутиную работу по заполнению информации о конкретном товаре, за один клик.
       
      Если вы делаете одно и тоже действие второй раз, то его пора автоматизировать. (С) Ваша лень.

      ВАЖНЫЕ МОМЕНТЫ
      Модуль не парсит сайты по конкретному списку ссылок массово. Каждый запрос - по клику из карточки товара. Модуль не изменяет и не добавляет информацию напрямую в базу данных, а работает непосредственно с формами в админке. У вас есть понимание, что такое селекторы в HTML/CSS, либо вы готовы дополнительно оплатить настройку профилей сайтов.  
      МОДУЛЬ ТОЧНО БУДЕТ ДЛЯ ВАС ПОЛЕЗЕН, ЕСЛИ
      У вас уже есть готовый каталог в магазине, но информации в карточке товара недостаточно. Вы добавляете товар поштучно Вы знаете, где можно взять недостающую информацию. У вас нет времени и желания заниматься копипастой многочисленных атрибутов и изображений, очищать html-теги описания и так далее.  
      ДЕМО
      Opencart / ocStore 3.0
      Логин: demo
      Пароль: demo
       
      МОДУЛЬ УМЕЕТ НАХОДИТЬ
       
      УСТАНОВКА
       
      ИНСТРУКЦИЯ ПО ЭКСПЛУАТАЦИИ
       
      ПОДДЕРЖКА
      Поддержка осуществляется преимущественно в личных сообщениях, а так же по электронной почте support@matro.site
      В рамках бесплатной технической поддержки Вы можете запросить заполнение профиля для 1 сайта.
       
      БИБЛИОТЕКА
      Модуль использует библиотеку PHP Simple HTML DOM Parser
       
      ПЛАНЫ НА БЛИЖАЙШЕЕ БУДУЩЕЕ
      Автоматическая корректировка цен от прямого конкурента по заданной формуле (задача для планировщика CRON) Адаптация модуля для всех версий 2.X  
      Описание дополняется.
    • By matroskin92
      950.00 руб
      Скачать/Купить дополнение


      Умный парсер
      Умный парсер - это модуль, позволяющий выполнить рутиную работу по заполнению информации о конкретном товаре, за один клик.
       
      Если вы делаете одно и тоже действие второй раз, то его пора автоматизировать. (С) Ваша лень.

      ВАЖНЫЕ МОМЕНТЫ
      Модуль не парсит сайты по конкретному списку ссылок массово. Каждый запрос - по клику из карточки товара. Модуль не изменяет и не добавляет информацию напрямую в базу данных, а работает непосредственно с формами в админке. У вас есть понимание, что такое селекторы в HTML/CSS, либо вы готовы дополнительно оплатить настройку профилей сайтов.  
      МОДУЛЬ ТОЧНО БУДЕТ ДЛЯ ВАС ПОЛЕЗЕН, ЕСЛИ
      У вас уже есть готовый каталог в магазине, но информации в карточке товара недостаточно. Вы добавляете товар поштучно Вы знаете, где можно взять недостающую информацию. У вас нет времени и желания заниматься копипастой многочисленных атрибутов и изображений, очищать html-теги описания и так далее.  
      ДЕМО
      Opencart / ocStore 3.0
      Логин: demo
      Пароль: demo
       
      МОДУЛЬ УМЕЕТ НАХОДИТЬ
       
      УСТАНОВКА
       
      ИНСТРУКЦИЯ ПО ЭКСПЛУАТАЦИИ
       
      ПОДДЕРЖКА
      Поддержка осуществляется преимущественно в личных сообщениях, а так же по электронной почте support@matro.site
      В рамках бесплатной технической поддержки Вы можете запросить заполнение профиля для 1 сайта.
       
      БИБЛИОТЕКА
      Модуль использует библиотеку PHP Simple HTML DOM Parser
       
      ПЛАНЫ НА БЛИЖАЙШЕЕ БУДУЩЕЕ
      Автоматическая корректировка цен от прямого конкурента по заданной формуле (задача для планировщика CRON) Адаптация модуля для всех версий 2.X  
      Описание дополняется.
      Добавил matroskin92 Добавлено 06.09.2019 Категория Парсеры Системные требования Сайт разработчика matro.site Метод активации Без активации Ioncube Loader Нет OpenCart 3.0
      2.3 ocStore 3.0
      2.3 OpenCart.Pro, ocShop Opencart.pro 2.3 Обращение к серверу разработчика Нет Старая цена  
    • By igyan
      1 000.00 руб
      Скачать/Купить дополнение


      Парсер-менеджер товаров с торговых площадок
      Модуль Парсер-менеджер товаров с торговых площадок
      Предназначен для обновления и добавления товаров с торговых площадок Яндекс-маркет(категории электроника, бытовая техника, компьютеры и некоторые дугие), Hotline.ua, Onliner.by .
      Для работы парсера необходим ionCube и версия PHP не ниже 5.3
      Работает на версиях 1.3.1.3- 2.3
      Модуль имеет привязку к домену, для каждого домена приобретается отдельная лицензия.
      Для покупки лицензии обращаться в личку
      Демо:
      http://www.oc-parser.ru/opencart/oc1541/admin/index.php?route=module/parsermanager
      User: demo
      Password: demo
      Видео как работает парсер:
      http://www.oc-parser.ru/index.php?r=site/page&view=demomanager
      Возможности:
      Добавление, обновление товаров . Автоматический поиск товара на сайте-доноре по названию товара или модели. Сохранение постоянных ссылок на товары с сайта донора, для дальнейшего использования ссылки. Гибкое использование фильтров для поиска редактируемых товаров, по отсутствию характеристик, описания, цены, изображения или целой категории товаров. Возможность выбора данных для обновления, данные указываются для каждого источника, с одного можно парсить атрибуты с другого, цену, описание и тд. Возможность дополнять или заменять данные в товарах. Использование прокси-сервера или указание целого листа с прокси-серверами. С последующей проверкой доступности сайта –донора (Яндекс.Маркет ). После проверки прокси сортируются по времени доступа. Контроль при парсинге нескольких товаров, если произошло прерывание парсинга из-за обрыва, таймаута, их можно допарсить позже. Подробный лог парсинга. Внимание! Перед парсингом сделайте бэкап БД магазина.
      Необходима библиотека CURL в PHP.
       
      Установка:
      Копирование в корень магазина файлов из архива для 1 или 2 версии. После запуска модуля создастся две таблицы в БД, одна для хранения ссылок на товары, другая для хранения ссылок при парсинге нескольких товаров. Настройка парсера согласно скрина, пустых значений не должно быть. Обновить таблицы парсера. Для торг.маил.ру и яндекса обязательно подкинуть куки, после посещения донора.  
      Принцип работы модуля:
      После установки модуля необходимо сделать первоначальные настройки для парсера и для сайтов-доноров, указывается сайт источник.
      Обязательно нажать «Сохранить». После настроек модуль готов к работе. Будут показаны товары, указанные в фильтре, или все если фильтр не используется.
      Обновление товаров.
      Для поиска товара необходимо нажать «Поиск» и будет произведен поиск товара по названию или модели. В появившемся списке товаров выбирается нужный, после чего ссылка на товар постоянно запомнится в парсере. Если поиск не дал результатов, можно ввести прямую ссылку на товар, скопировав ее с сайта источника. Для этого нужно нажать «+». Также есть возможность поиска товара по произвольному запросу(не по названию товара или модели). Для это нужно нажать «Ввести запрос» и ввести в поле, что необходимо найти.
      После появления ссылки с строке товара, товар можно парсить, есть возможность указать новую цену для товара, предварительно убрав галочку «Заменять цену» в настройках .
      Также возможен парсинг нескольких товаров, для этого нужно выбрать товары и нажать «Парсить все». Будут спарсены товары у которых есть ссылки.
      ВАЖНО! Парсинг нескольких товаров может быстро привести к бану, в особенности Яндексом, поэтому используйте эту функцию, если имеете прокси-сервера.
      При использовании фильтров по пустым атрибутам, изображениям и тд., после парсинга данных значений они не будут отображаться в парсере.
      Добавление новых товаров.
      Товары будут добавляться с выбранного сайта-источника. Для поиска товара надо нажать «Найти товар», можно сразу ввести прямую ссылку, нажав «+». После появления ссылки, можно парсить товар, нажав «Добавить товар». Для новых товаров можно указать категорию для отображения.
      Модуль адаптирован под версию 2.3. Проверено на версии 2.0, 2.1, 2.2, 2.3.
      В связи с тем что, с парсером постоянно возникают проблемы по независящим от автора и кода причинам: смена верстки донарами, отсутствие изображений, характеристик на некоторых страницах и капча тд. Постоянных просьб настроить парсер и напарсить товаров.
      С января 2018 продление  лицензией на год будет 600 р.
      На второй и последующие скидка при покупке нового парсера
       
       
      Добавил igyan Добавлено 20.02.2014 Категория Парсеры Системные требования Ioncube PHP>5.3 Сайт разработчика Старая цена Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Не проверялось Обращение к серверу разработчика  
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.