Перейти к содержанию

Рекомендуемые сообщения

здравствуйте,

 

нужен модуль парсера xml файлов. только для получения файла и с возможностью конвертировать в csv 

 

1. методы get, post

2. запуск по cron со значениям профиля

 

в админке модуля:

1. название

2. профиль

3. метод

4. действия (просто загрузить / конвертировать в csv)

5. путь сохранения файла

 

цены, сроки, обсуждения итд в личку

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

давайте обсуждения тут.

примеры файлов есть или хотите "волшебный комбайн"?

что за профили?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

тут так тут

конечно хочется комбайн :) ну ладно по делу:

1.название - названия задачи

2.профиль или ID - главный идентификатор задания (нужен для планировщика и идентификации задач)

3.выбор метода (get/пост) - отлично было бы как в Fiddler

4.действия (просто загрузить / конвертировать в csv)

- просто загрузить - загружается и сохраняется xml файл без конвертации в csv

- конвертировать в csv - конвертация и сохранения в файл csv

5.путь сохранения ( и название ) файла - тут все понятно, единственное добавляю, что надо и название сохраняемого файла, с перезаписью (типа: импорт/поставщик1/п1_товары.csv)

+ добавляю что еще надо:

6.ТЕГ xml файла - указывается ТЕГ xml файла который надо конвертировать в csv и родительский ТЕГ

т.е например если у нас xml такой

<feed>

<categories>

<category>

<id>1</id>

<parent_id>0</parent_id>

<name>Category Name</name>

</category>

</categories>

<products>

<product>

<id>00001</id>

<name>Product Name</name>

<description>its about</description>

<price>2.00</price>

<qty>4</qty>

<category>1</category>

</product>

</products>

</feed>

если надо товары указываем:

ТЕГ xml файла - <product>

родительский ТЕГ - <products>

после конвертации получаем csv

колонка 1 - id

колонка 2 - name

колонка 3 - description

колонка 4 - price

колонка 5 - qty

колонка 6 - category

если надо категории указываем:

ТЕГ xml файла - <category>

родительский ТЕГ - <categories>

после конвертации получаем csv

колонка 1 - id

колонка 2 - parent_id

колонка 3 - name

и не будет конфликтов с ТЕГ`ом <category> который под ТЕГ`ом <product>

если глубина тегов по больше (пример под спойлером) на выходе хотелось бы получить такой результат (заголовки колонок должны быть уникальными):

<products>

<product>

<id>00001</id>

<name>Product Name</name>

<description>its about</description>

<price>2.00</price>

<qty>4</qty>

<category>1</category>

<warehouse id="1">

<price>2.00</price>

<qty>4</qty>

<warehouse>

<warehouse id="2">

<price>2.50</price>

<qty>6</qty>

<warehouse>

<options>

<option name"color">

<color>red</color>

<qty>1</qty>

</option>

<option name"color">

<color>blue</color>

<qty>3</qty>

</option>

</options>

<related>

<id>00002</id>

<id>00003</id>

<id>00004</id>

</related>

</product>

</products>

колонка 1 - id

колонка 2 - name

колонка 3 - description

колонка 4 - price

колонка 5 - qty

колонка 6 - category

колонка 7 - warehouse 1 price

колонка 8 - warehouse 1 qty

колонка 9 - warehouse 2 price

колонка 10 - warehouse 2 qty

колонка 11 - options color color

колонка 12 - options color qty

колонка 13 - options color color 1

колонка 14 - options color qty 1

колонка 15 - related

колонка 16 - related 1

колонка 17 - related 2

да, получается комбайн, все не съест, но 90% моих xml'ок скушает

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

3. зачем тут какие-то "методы"??? вы что-то недоговариваете или не понимаете.

7. для "скачивания" надо ж еще и ссылку указывать (+1 поле, как минимум).

по-моему тут потребуется промежуточный узел в виде бд для сохранения данных перед конвертацией, ибо в других случаях (если я правильно понимаю) мы не сможем построить правильный csv, если в первом товаре будет меньше данных (полей/столбцов), чем в последующих.

размеры/объемы (хотя бы примерные) ожидаемых xml-файлов известны?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
размеры пока встречались до 25 мб  

 

по методам:

 

так и думалось что:

если GET - используется поле для ссылки

если POST - используется поле для ссылки и request body

может быть этого и не надо но мне никак не удается взять SOAP методом GET..

 

да, про промежуточный узел Вы правы. Примерно так делается в Total Import PRO

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

>> если POST - используется поле для ссылки и request body

>> может быть этого и не надо но мне никак не удается взять SOAP методом GET..

можно с примерами?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Похожий контент

    • От MaxD
      Скачать/Купить дополнение


      LiveImport - импорт Excel и сайтов
      .
      Новинка! Мое новое дополнение Тестовый сайт создаст копию вашего магазина для тестов в один клик.
       
      Модуль для импорта таблиц (XLS, XLSX, CSV) и сайтов

      поддерживает импорт действительно больших файлов можно дописывать логику импорта в виде небольшого PHP-скрипта предустановленные настройки для AliExpress и eBay для любых сайтов можно настраивать через Мастер, как в ParseMX Язык - английский. Есть версии для OpenCart 1.5+, OpenCart 2.0 и самостоятельная.
      Работает с PHP 5.3 ... 7.0
      Это бета, поэтому имейте в виду, что все синтаксисы и разметки могут измениться в будущем без предупреждения и соблюдения обратной совместимости.
       
      Как настраивать парсинг одиночных товаров с сайта - https://youtu.be/W_yPVZsj62E
      Как настраивать авторизацию на доноре - http://liveimport.devs.mx/service/auth.html
       
      Для массового парсинга товаров с сайта необходимо приобрести лицензию.
       
      Также есть лицензия для массового импорта прайсов, c ней LiveImport сможет:
      хранить отдельно настройки для разных прайсов по кнопке удалять товары, импортированные из определенного прайса автоматически загружать прайсы с внешних серверов по расписанию, если надо - вытаскивать их из ZIP-архива удалять/отключать товары, которые были в прайсе, но пропали проверять, изменился ли файл с последнего обращения, чтобы не обрабатывать повторно старый материал  
      Установка для ocStore/OpenCart 2+
      Установка для ocStore/OpenCart 1.5+
      Установка самостоятельной версии
      Добавил MaxD Добавлено 22.02.2016 Категория Парсеры Системные требования Сайт разработчика http://liveimport.devs.mx/ Старая цена Метод активации Без активации Ioncube Loader Нет OpenCart 2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop  
    • От runohome
      Имеется рабочий парсер.
      Парсит товары с картинками с сайта донора сразу на наш сайт без промежуточных файлов, компьютеров.
      Недавно донор нас заблокировал.
      Требуется обойти блокировку с помощью прокси или как-то еще.
      У нас OCStore 2.1.0.2.1.
      Пожалуйста, предложения с стоимостью и сроком.
    • От igyan
      1 000.00 руб
      Скачать/Купить дополнение


      Парсер-менеджер товаров с торговых площадок
      Модуль Парсер-менеджер товаров с торговых площадок
      Предназначен для обновления и добавления товаров с торговых площадок Яндекс-маркет(категории электроника, бытовая техника, компьютеры и некоторые дугие), Hotline.ua, Onliner.by .
      Для работы парсера необходим ionCube и версия PHP не ниже 5.3
      Работает на версиях 1.3.1.3- 2.3
      Модуль имеет привязку к домену, для каждого домена приобретается отдельная лицензия.
      Для покупки лицензии обращаться в личку
      Демо:
      http://www.oc-parser.ru/opencart/oc1541/admin/index.php?route=module/parsermanager
      User: demo
      Password: demo
      Видео как работает парсер:
      http://www.oc-parser.ru/index.php?r=site/page&view=demomanager
      Возможности:
      Добавление, обновление товаров . Автоматический поиск товара на сайте-доноре по названию товара или модели. Сохранение постоянных ссылок на товары с сайта донора, для дальнейшего использования ссылки. Гибкое использование фильтров для поиска редактируемых товаров, по отсутствию характеристик, описания, цены, изображения или целой категории товаров. Возможность выбора данных для обновления, данные указываются для каждого источника, с одного можно парсить атрибуты с другого, цену, описание и тд. Возможность дополнять или заменять данные в товарах. Использование прокси-сервера или указание целого листа с прокси-серверами. С последующей проверкой доступности сайта –донора (Яндекс.Маркет ). После проверки прокси сортируются по времени доступа. Контроль при парсинге нескольких товаров, если произошло прерывание парсинга из-за обрыва, таймаута, их можно допарсить позже. Подробный лог парсинга. Внимание! Перед парсингом сделайте бэкап БД магазина.
      Необходима библиотека CURL в PHP.
       
      Установка:
      Копирование в корень магазина файлов из архива для 1 или 2 версии. После запуска модуля создастся две таблицы в БД, одна для хранения ссылок на товары, другая для хранения ссылок при парсинге нескольких товаров. Настройка парсера согласно скрина, пустых значений не должно быть. Обновить таблицы парсера. Для торг.маил.ру и яндекса обязательно подкинуть куки, после посещения донора.  
      Принцип работы модуля:
      После установки модуля необходимо сделать первоначальные настройки для парсера и для сайтов-доноров, указывается сайт источник.
      Обязательно нажать «Сохранить». После настроек модуль готов к работе. Будут показаны товары, указанные в фильтре, или все если фильтр не используется.
      Обновление товаров.
      Для поиска товара необходимо нажать «Поиск» и будет произведен поиск товара по названию или модели. В появившемся списке товаров выбирается нужный, после чего ссылка на товар постоянно запомнится в парсере. Если поиск не дал результатов, можно ввести прямую ссылку на товар, скопировав ее с сайта источника. Для этого нужно нажать «+». Также есть возможность поиска товара по произвольному запросу(не по названию товара или модели). Для это нужно нажать «Ввести запрос» и ввести в поле, что необходимо найти.
      После появления ссылки с строке товара, товар можно парсить, есть возможность указать новую цену для товара, предварительно убрав галочку «Заменять цену» в настройках .
      Также возможен парсинг нескольких товаров, для этого нужно выбрать товары и нажать «Парсить все». Будут спарсены товары у которых есть ссылки.
      ВАЖНО! Парсинг нескольких товаров может быстро привести к бану, в особенности Яндексом, поэтому используйте эту функцию, если имеете прокси-сервера.
      При использовании фильтров по пустым атрибутам, изображениям и тд., после парсинга данных значений они не будут отображаться в парсере.
      Добавление новых товаров.
      Товары будут добавляться с выбранного сайта-источника. Для поиска товара надо нажать «Найти товар», можно сразу ввести прямую ссылку, нажав «+». После появления ссылки, можно парсить товар, нажав «Добавить товар». Для новых товаров можно указать категорию для отображения.
      Модуль адаптирован под версию 2.3. Проверено на версии 2.0, 2.1, 2.2, 2.3.
      В связи с тем что, с парсером постоянно возникают проблемы по независящим от автора и кода причинам: смена верстки донарами, отсутствие изображений, характеристик на некоторых страницах и капча тд. Постоянных просьб настроить парсер и напарсить товаров.
      С января 2018 продление  лицензией на год будет 600 р.
      На второй и последующие скидка при покупке нового парсера
       
       
      Добавил igyan Добавлено 20.02.2014 Категория Парсеры Системные требования Ioncube PHP>5.3 Сайт разработчика Старая цена Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Не проверялось  
    • От max201181
      300.00 руб
      Скачать/Купить дополнение


      YGParser
      Добавление основного и дополнительных изображений из Яндекса, Гугла и Мэйла
      Проверен на: oc1513 - oc1541
      Не заменяет системные файлы.
      Задача:
      К созданию этого модуля меня подбил прайс поставщика на 3000 позиций. Изображения товаров были доступны только на его сайте с его е*%чим водяным знаком, других не было. Вот и появился модуль.)
      Возможности:
      Не нужно составлять инструкции.
      Добавление изображения товару за 3 секунды
      Не попадает в бан поисковиков.
      Три источника - Яндекс.Картинки, Картинки Google, Картинки@mail.ru
      Простая настройка
      Фильтр по разрешениям
      Просмотр перед сохранением
      Добавление и изменение дополнительных изображений

      Установка:
      Скопируйте все файлы из папки upload в корень вашего сайта.
      Произвести первый запуск для создания настроек в БД.
      По умолчанию изображения сохраняются в папку /images/data/, при желании измените путь в закладке "Настройки".

      Поддержка:
      Поддержка бесплатная
      Добавление новых источников и алгоритмов в порядке рейтинга
      Полный контроль с нашей стороны за изменениями во всех источника и своевременное обновление

      На будущее:
      Парсинг популярных сервисов сравнения цен
      Парсинг будет происходить в "облаке", клиенту будет передоваться только результат

      Лицензия:
      Покупатель имеет право использовать данный модуль на всех проектах, зарегистрированных на его имя.
      Для интернет-агентств и веб-студий предусмотренная "расширенная" лицензия. По вопросам преобретения пишите на maxim-che@yandex.ru

      Убедительная просьба: цените труд и авторское право разработчиков, и это не относится именно к этому модулю.
      Демо:
      Админ. панель - sandbox.scriptprom.ru/oc1513/admin
      Логин: demo
      Пароль: demo
      ВНИМАНИЕ: В связи с добавлением работы с дополнительными изображениями, немного поменялась логика интерфейса. Теперь для начала подбора картинок нужно кликнуть именно по изображению товара(основному или дополнительному), а не по самому полю.
      Добавил max201181 Добавлено 08.03.2013 Категория Парсеры  
    • От MaxD
      .
      Новинка! Мое новое дополнение Тестовый сайт создаст копию вашего магазина для тестов в один клик.
       
      Модуль для импорта таблиц (XLS, XLSX, CSV) и сайтов

      поддерживает импорт действительно больших файлов можно дописывать логику импорта в виде небольшого PHP-скрипта предустановленные настройки для AliExpress и eBay для любых сайтов можно настраивать через Мастер, как в ParseMX Язык - английский. Есть версии для OpenCart 1.5+, OpenCart 2.0 и самостоятельная.
      Работает с PHP 5.3 ... 7.0
      Это бета, поэтому имейте в виду, что все синтаксисы и разметки могут измениться в будущем без предупреждения и соблюдения обратной совместимости.
       
      Как настраивать парсинг одиночных товаров с сайта - https://youtu.be/W_yPVZsj62E
      Как настраивать авторизацию на доноре - http://liveimport.devs.mx/service/auth.html
       
      Для массового парсинга товаров с сайта необходимо приобрести лицензию.
       
      Также есть лицензия для массового импорта прайсов, c ней LiveImport сможет:
      хранить отдельно настройки для разных прайсов по кнопке удалять товары, импортированные из определенного прайса автоматически загружать прайсы с внешних серверов по расписанию, если надо - вытаскивать их из ZIP-архива удалять/отключать товары, которые были в прайсе, но пропали проверять, изменился ли файл с последнего обращения, чтобы не обрабатывать повторно старый материал  
      Установка для ocStore/OpenCart 2+
      Установка для ocStore/OpenCart 1.5+
      Установка самостоятельной версии
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.