Jump to content
igyan

[Поддержка] Парсер-менеджер товаров с торговых площадок

Recommended Posts

Парсер-менеджер товаров с торговых площадок


Парсер-менеджер товаров с торговых площадок


Модуль Парсер-менеджер товаров с торговых площадок

Предназначен для обновления и добавления товаров с торговых площадок Яндекс-маркет(категории электроника, бытовая техника, компьютеры и некоторые дугие), Hotline.ua, Onliner.by .

Для работы парсера необходим ionCube и версия PHP не ниже 5.3

Работает на версиях 1.3.1.3- 2.3

Модуль имеет привязку к домену, для каждого домена приобретается отдельная лицензия.

Для покупки лицензии обращаться в личку

Демо:

http://www.oc-parser.ru/opencart/oc1541/admin/index.php?route=module/parsermanager

User: demo

Password: demo

Видео как работает парсер:

http://www.oc-parser.ru/index.php?r=site/page&view=demomanager

Возможности:

  1. Добавление, обновление товаров .
  2. Автоматический поиск товара на сайте-доноре по названию товара или модели.
  3. Сохранение постоянных ссылок на товары с сайта донора, для дальнейшего использования ссылки.
  4. Гибкое использование фильтров для поиска редактируемых товаров, по отсутствию характеристик, описания, цены, изображения или целой категории товаров.
  5. Возможность выбора данных для обновления, данные указываются для каждого источника, с одного можно парсить атрибуты с другого, цену, описание и тд.
  6. Возможность дополнять или заменять данные в товарах.
  7. Использование прокси-сервера или указание целого листа с прокси-серверами. С последующей проверкой доступности сайта –донора (Яндекс.Маркет ). После проверки прокси сортируются по времени доступа.
  8. Контроль при парсинге нескольких товаров, если произошло прерывание парсинга из-за обрыва, таймаута, их можно допарсить позже.
  9. Подробный лог парсинга.

Внимание! Перед парсингом сделайте бэкап БД магазина.

Необходима библиотека CURL в PHP.

 

Установка:

  1. Копирование в корень магазина файлов из архива для 1 или 2 версии. После запуска модуля создастся две таблицы в БД, одна для хранения ссылок на товары, другая для хранения ссылок при парсинге нескольких товаров.
  2. Настройка парсера согласно скрина, пустых значений не должно быть.
  3. Обновить таблицы парсера.
  4. Для торг.маил.ру и яндекса обязательно подкинуть куки, после посещения донора.

 

Принцип работы модуля:

После установки модуля необходимо сделать первоначальные настройки для парсера и для сайтов-доноров, указывается сайт источник.

Обязательно нажать «Сохранить». После настроек модуль готов к работе. Будут показаны товары, указанные в фильтре, или все если фильтр не используется.

Обновление товаров.

Для поиска товара необходимо нажать «Поиск» и будет произведен поиск товара по названию или модели. В появившемся списке товаров выбирается нужный, после чего ссылка на товар постоянно запомнится в парсере. Если поиск не дал результатов, можно ввести прямую ссылку на товар, скопировав ее с сайта источника. Для этого нужно нажать «+». Также есть возможность поиска товара по произвольному запросу(не по названию товара или модели). Для это нужно нажать «Ввести запрос» и ввести в поле, что необходимо найти.

После появления ссылки с строке товара, товар можно парсить, есть возможность указать новую цену для товара, предварительно убрав галочку «Заменять цену» в настройках .

Также возможен парсинг нескольких товаров, для этого нужно выбрать товары и нажать «Парсить все». Будут спарсены товары у которых есть ссылки.

ВАЖНО! Парсинг нескольких товаров может быстро привести к бану, в особенности Яндексом, поэтому используйте эту функцию, если имеете прокси-сервера.

При использовании фильтров по пустым атрибутам, изображениям и тд., после парсинга данных значений они не будут отображаться в парсере.

Добавление новых товаров.

Товары будут добавляться с выбранного сайта-источника. Для поиска товара надо нажать «Найти товар», можно сразу ввести прямую ссылку, нажав «+». После появления ссылки, можно парсить товар, нажав «Добавить товар». Для новых товаров можно указать категорию для отображения.

Модуль адаптирован под версию 2.3. Проверено на версии 2.0, 2.1, 2.2, 2.3.

В связи с тем что, с парсером постоянно возникают проблемы по независящим от автора и кода причинам: смена верстки донарами, отсутствие изображений, характеристик на некоторых страницах и капча тд. Постоянных просьб настроить парсер и напарсить товаров.

С января 2018 продление  лицензией на год будет 600 р.

На второй и последующие скидка при покупке нового парсера

 

 


  • Добавил
  • Добавлено
    20.02.2014
  • Категория
  • Системные требования
    Ioncube PHP>5.3
  • Сайт разработчика
  • Метод активации
    По запросу в ЛС
  • Ioncube Loader
    Требуется
  • OpenCart
    2.3
    2.2
    2.1
    2.0
    1.5.6.4
    1.5.6.3
    1.5.6.2
    1.5.6.1
    1.5.6
    1.5.5.1
    1.5.5
    1.5.4.1
    1.5.3.1
  • ocStore
    2.3
    2.2
    2.1
    1.5.5.1.2
    1.5.5.1.1
    1.5.5.1
    1.5.4.1.2
    1.5.4.1.1
    1.5.4.1
    1.5.3.1
    1.5.2.1
    1.5.1.3
  • OpenCart.Pro, ocShop
    Не проверялось
  • Обращение к серверу разработчика
  • Старая цена

 

Share this post


Link to post
Share on other sites

Просто супер, все стало замечательно, все работает классно, всем рекомендую!!!

Share this post


Link to post
Share on other sites

Было бы хорошо если была бы возможность установить в настройках кол-во товаров в наличии, по умолчанию "1"

Share this post


Link to post
Share on other sites

Чтобы проверить забанен яндексом адрес вашего магазина, скачайте файл и залейте себе на хостинг. После запуска на экране появится ответ от яндекс.маркета. Если сайт забанен, необходимо использовать прокси-сервера, бесплатные сервера можно скачать здесь, но для серьезных целей надо искать платные.

test.php

Share this post


Link to post
Share on other sites

Тут появились такие идеи, если конечно их можно реализовать вообще.

Сделать префикс к названию новой позиции.

На ямаркете и других каталогах, зачастую позиции идут в таком виде "Beko CS 230020" а если пользователь добавляет по категории, то почему бы ему не ввести префикс "Холодильник" а на выходе получится "Холодильник Beko CS 230020" Это будет очень хорошо, а именно когда позиции выводятся в модулях "популярное, новое и т.д." человек сразу понимает что он видит, холодильник или морозиловку.

Я думаю что идея хорошая.

 

Потом, добавить число последнего персинга, так будет намного проще отслеживать последнее обновления позиции, хорошо для тех то цены персит....

И еще, добавить индикатор статуса товара включен он щас или нет, так же как и кнопку, включить и выключить.

Ну и еще что бы в настройках можно было выбрать, в каком виде товары будут добавляться, активными или нет, мало ли что пойдет не так во время персинга...

 

Персер очень классный, и желаю ему только развития.

ЗЫ. Как вспомню как я ручками 700 позиций добавлял)))))

Share this post


Link to post
Share on other sites

Добрый день,

поставил модуль

на 1.5.6

 

установилось

входит в модуль

настройки яндекс

сохранить

 

после этого белый экран

 

выходишь из модуля - обратно - белый экран ничего не грузится :(

Что может быть?

Share this post


Link to post
Share on other sites

Добрый день,

поставил модуль

на 1.5.6

 

установилось

входит в модуль

настройки яндекс

сохранить

 

после этого белый экран

 

выходишь из модуля - обратно - белый экран ничего не грузится :(

Что может быть?

 

Добрый день. Похоже ошибка, откройте файл admin/controller/module/parsermanager.php и вставьте после <?php строки

error_reporting(E_ALL);

ini_set('display_errors', 1);

После чего должны показываться ошибки,

Последняя версия на которой тестировалось 1.5.5.1, мое упущение, буду исправлять

Share this post


Link to post
Share on other sites

В окне ошибок нет при октрытии

код пустой

 

в админке ошибки

2014-03-08 3:20:18 - PHP Notice:  Undefined offset: 1 in /home2/transpoi/public_html/admin/controller/module/parsermanager.php on line 1779
2014-03-08 3:22:43 - PHP Notice:  Error: The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay<br />Error No: 1104<br />SELECT p.product_id, pd.name, p.sku, p.model, p.image, p.price FROM fem_product p  LEFT JOIN fem_product_description pd ON (p.product_id = pd.product_id) LEFT JOIN fem_product_image pi ON (p.product_id=pi.product_id) LEFT JOIN fem_product_attribute pa ON (p.product_id = pa.product_id) WHERE pd.language_id = '2' AND pa.product_id IS NULL  AND pi.product_id IS NULL  AND p.image=''  AND p.sku =''  AND pd.description =''  GROUP BY product_id ASC LIMIT 0,50 in /home2/transpoi/public_html/system/database/mysql.php on line 50
2014-03-08 3:23:45 - PHP Notice:  Error: The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay<br />Error No: 1104<br />SELECT p.product_id, pd.name, p.sku, p.model, p.image, p.price FROM fem_product p  LEFT JOIN fem_product_description pd ON (p.product_id = pd.product_id) LEFT JOIN fem_product_image pi ON (p.product_id=pi.product_id) LEFT JOIN fem_product_attribute pa ON (p.product_id = pa.product_id) WHERE pd.language_id = '2' AND pa.product_id IS NULL  AND pi.product_id IS NULL  AND p.image=''  AND p.sku =''  AND pd.description =''  GROUP BY product_id ASC LIMIT 0,50 in /home2/transpoi/public_html/system/database/mysql.php on line 50
2014-03-08 3:24:16 - PHP Notice:  Error: The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay<br />Error No: 1104<br />SELECT p.product_id, pd.name, p.sku, p.model, p.image, p.price FROM fem_product p  LEFT JOIN fem_product_description pd ON (p.product_id = pd.product_id) LEFT JOIN fem_product_image pi ON (p.product_id=pi.product_id) LEFT JOIN fem_product_attribute pa ON (p.product_id = pa.product_id) WHERE pd.language_id = '2' AND pa.product_id IS NULL  AND pi.product_id IS NULL  AND p.image=''  AND p.sku =''  AND pd.description =''  GROUP BY product_id ASC LIMIT 0,50 in /home2/transpoi/public_html/system/database/mysql.php on line 50
2014-03-08 3:26:17 - PHP Notice:  Error: The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay<br />Error No: 1104<br />SELECT p.product_id, pd.name, p.sku, p.model, p.image, p.price FROM fem_product p  LEFT JOIN fem_product_description pd ON (p.product_id = pd.product_id) LEFT JOIN fem_product_image pi ON (p.product_id=pi.product_id) LEFT JOIN fem_product_attribute pa ON (p.product_id = pa.product_id) WHERE pd.language_id = '2' AND pa.product_id IS NULL  AND pi.product_id IS NULL  AND p.image=''  AND p.sku =''  AND pd.description =''  GROUP BY product_id ASC LIMIT 0,50 in /home2/transpoi/public_html/system/database/mysql.php on line 50
2014-03-08 3:35:53 - PHP Notice:  Error: The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay<br />Error No: 1104<br />SELECT p.product_id, pd.name, p.sku, p.model, p.image, p.price FROM fem_product p  LEFT JOIN fem_product_description pd ON (p.product_id = pd.product_id) LEFT JOIN fem_product_image pi ON (p.product_id=pi.product_id) LEFT JOIN fem_product_attribute pa ON (p.product_id = pa.product_id) WHERE pd.language_id = '2' AND pa.product_id IS NULL  AND pi.product_id IS NULL  AND p.image=''  AND p.sku =''  AND pd.description =''  GROUP BY product_id ASC LIMIT 0,50 in /home2/transpoi/public_html/system/database/mysql.php on line 50
2014-03-08 3:36:29 - PHP Notice:  Error: The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay<br />Error No: 1104<br />SELECT p.product_id, pd.name, p.sku, p.model, p.image, p.price FROM fem_product p  LEFT JOIN fem_product_description pd ON (p.product_id = pd.product_id) LEFT JOIN fem_product_image pi ON (p.product_id=pi.product_id) LEFT JOIN fem_product_attribute pa ON (p.product_id = pa.product_id) WHERE pd.language_id = '2' AND pa.product_id IS NULL  AND pi.product_id IS NULL  AND p.image=''  AND p.sku =''  AND pd.description =''  GROUP BY product_id ASC LIMIT 0,50 in /home2/transpoi/public_html/system/database/mysql.php on line 50
2014-03-08 4:24:09 - PHP Notice:  Error: The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay<br />Error No: 1104<br />SELECT p.product_id, pd.name, p.sku, p.model, p.image, p.price FROM fem_product p  LEFT JOIN fem_product_description pd ON (p.product_id = pd.product_id) LEFT JOIN fem_product_image pi ON (p.product_id=pi.product_id) LEFT JOIN fem_product_attribute pa ON (p.product_id = pa.product_id) WHERE pd.language_id = '2' AND pa.product_id IS NULL  AND pi.product_id IS NULL  AND p.image=''  AND p.sku =''  AND pd.description =''  GROUP BY product_id ASC LIMIT 0,50 in /home2/transpoi/public_html/system/database/mysql.php on line 50
2014-03-08 4:24:23 - PHP Notice:  Error: The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay<br />Error No: 1104<br />SELECT p.product_id, pd.name, p.sku, p.model, p.image, p.price FROM fem_product p  LEFT JOIN fem_product_description pd ON (p.product_id = pd.product_id) LEFT JOIN fem_product_image pi ON (p.product_id=pi.product_id) LEFT JOIN fem_product_attribute pa ON (p.product_id = pa.product_id) WHERE pd.language_id = '2' AND pa.product_id IS NULL  AND pi.product_id IS NULL  AND p.image=''  AND p.sku =''  AND pd.description =''  GROUP BY product_id ASC LIMIT 0,50 in /home2/transpoi/public_html/system/database/mysql.php on line 50
2014-03-08 4:24:25 - PHP Notice:  Error: The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay<br />Error No: 1104<br />SELECT p.product_id, pd.name, p.sku, p.model, p.image, p.price FROM fem_product p  LEFT JOIN fem_product_description pd ON (p.product_id = pd.product_id) LEFT JOIN fem_product_image pi ON (p.product_id=pi.product_id) LEFT JOIN fem_product_attribute pa ON (p.product_id = pa.product_id) WHERE pd.language_id = '2' AND pa.product_id IS NULL  AND pi.product_id IS NULL  AND p.image=''  AND p.sku =''  AND pd.description =''  GROUP BY product_id ASC LIMIT 0,50 in /home2/transpoi/public_html/system/database/mysql.php on line 50

Share this post


Link to post
Share on other sites

Проверил на дефолтном движке oc156 на localhost`e явных ошибок нет, сохранение и парсинг работают. А вот версию oc1561 смог проверить, при установке движка сыплется в ошибки, надо искать рабочую версию.

Share this post


Link to post
Share on other sites

у меня 1.5.6 тема не дефолтная

это вроде с базой никак не соприкасается

Share this post


Link to post
Share on other sites

Если Вы установили на хостинг, то скорее всего  настройках  на хостинге. Есть ограничение на кол-во проверяемых строк. В модуле делается  сложный запрос на основе фильтров и если много товаров или маленькое значение SQL_MAX_JOIN_SIZE, то и появится ошибка.

Попробуйте увеличить значение, если хостер не заблокировал эту функцию.

Вставьте в файл admin/model/module/parser.php

 

после строки 182

public function SearchEmpty($data = array()){

 

эти строки

$sql = "SET SQL_MAX_JOIN_SIZE = 4294967295999999";

$query = $this->db->query($sql);

 

и после 268

 

public function getTotalProducts($data = array()){

тоже самое

 

Если не получится надо пробовать просить поддержку увеличить или пишите на почту или в личку, может придется оптимизировать запрос.

Share this post


Link to post
Share on other sites

Окей

как минимум открылся сам модуль по нажатию Изменить.

Спасибо за оперативную поддержку.

Share this post


Link to post
Share on other sites

Окей

как минимум открылся сам модуль по нажатию Изменить.

Спасибо за оперативную поддержку.

Расскажите, какие конкретно действия делали.

Share this post


Link to post
Share on other sites

Расскажите, какие конкретно действия делали.

после строки 182

public function SearchEmpty($data = array()){

 

эти строки

$sql = "SET SQL_MAX_JOIN_SIZE = 4294967295999999";

$query = $this->db->query($sql);

 

и после 268

 

public function getTotalProducts($data = array()){

тоже самое

Share this post


Link to post
Share on other sites

Обновил модуль, исправлены некоторые баги при парсинге, для парсинга через прокси-листы описал в файле к парсеру принцип подкидывания кук

Share this post


Link to post
Share on other sites

можно ли добавить функцию добавления веса товара?

Share this post


Link to post
Share on other sites

Вы хотите добавлять при обновлении товара

да, чтобы вес прописывался не в атрибуты, а непосредственно в карточку товара

Share this post


Link to post
Share on other sites

спасибо за модуль, супер!

пара вопросов

1. если в названии товара встречается знак < и >, они при поиске заменяется на < и > и ничего не находится

если их удалить, то находит то, что нужно

как поправить?

 

2. при парсинге почти всегда вываливается в

 

Gateway Timeout The upstream server does not response. Try again later.

 

как бороться?

Share this post


Link to post
Share on other sites

спасибо за модуль, супер!

пара вопросов

1. если в названии товара встречается знак < и >, они при поиске заменяется на < и > и ничего не находится

если их удалить, то находит то, что нужно

как поправить?

 

2. при парсинге почти всегда вываливается в

 

Gateway Timeout The upstream server does not response. Try again later.

 

как бороться?

Спасибо, на добром слове.

Парсер формирует поисковый запрос в соответствии с названием товара + функция преобразования, причем для каждого сайта надо свой запрос, все ситуации не предусмотришь.

Напишите на каком сайте ищете товар и пару названий попробую что нибудь  сделать.

На счет второго сложно сказать, ошибка при парсинге нескольких товаров или одного

может не хватает ресурсов серверу, можно попробовать попросить поддержку добавить параметр memory_limit, бывает не соответствует заявленому на тарифе

могут проблемы с настройкой самого сервера

Я для этого и сделал список товаров для парсинга, в обновлении добавлю задержку при парсинге для нескольких товаров

Share this post


Link to post
Share on other sites

по первому:

ищу на маркете

название товара 

Беспроводная мышь Microsoft Wireless Mouse 1000 for Business (черная), USB, 2,4 GHz <2CF-00003>

если нажать напротив него "Ввести запрос", то преобразовывается в

Беспроводная мышь Microsoft Wireless Mouse 1000 for Business  черная , USB, 2,4 GHz <2CF-00003>

 

по второму

может есть какой скрипт, который запустив на сервере, выдал бы ЧЕСТНЫЕ параметры сервера (а не то что говорит хостер)

 

буду ждать обновления, с задержкой при парсинге для нескольких товаров

 

и ещё, думаю это не очень сложно добавить, но было бы удобно:

можно добавить кнопку "Парсить товары имеющие ссылки"

 

и немного ещё :о)

допустим прошёлся я парсером по всем товарам в магазине

у тех товаров на которые не нашлось ссылок в маркете, я в поле модель добавил какой то символ

можно ли сделать в модуле фильтр по полю модель, чтоб при добавлении новых товаров на сайт, можно было исключить прошлые товары (со знаком в поле модель), чтоб по новой их не пробовать парсить, а оставить до лучших времен 

Share this post


Link to post
Share on other sites

Попробую добавить в новую версию

Фильтр по модели есть, в шапке таблицы, правда похоже есть проблемы припереходе по страницам, не сохраняется фильтр, надо будет исправить.

чтобы узнать настройки сервера создайте файл

info.php

с содержанием

<?php

echo phpinfo();

?>

закинте на хостинг и запустите по прямой ссылке http://сайт/info.php , увидите настройки сервера

на забудте потом файл удалить

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By Rassol2
      1 600.00 руб
      Скачать/Купить дополнение


      SimplePars - Универсальный парсер для ИМ
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
       
      Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.
      Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

       
      Возможности модуля SimplePars
      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение интернет магазина.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в CSV файл для дальнейшей обработки. 
      Так же реализовано обновления товаров при помощи парсинга сайтов доноров. 
       
      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      - Полноценный парсер позволяющий парсить товары со сторонних магазинов и загружать себе.
      - Встроенный гибкий сборщик ссылок , который поможет собрать ссылки на необходимые товары.
      - Возможен парсинг и загрузка всех элементов товара.
      Код товара [model] Артикул [sku] Название Цена Количество Производитель Описание Категории Изображения Атрибуты Опций Данные - товара. Более подробно можете увидеть на скриншотах модуля.
       
      - Кроме загрузки возможно настройка обновления существующих товаров, цен, остатков и многое другое.
      - Идентификация товара по артикулу, модели или имени товара.
      - Доступна установка наценок любой сложности.
      - Парсинг / Составление SEO шаблонов и заполнение Мета данных товара, категорий, производителей. Заполнение SEO_URL
      - Формировать прайс csv с данными что вы парсите. Так же прайсы можно составлять в готовом формате для загрузки через АОП или любого другого загрузчика прайс листов. 
      - Поиск замена, мощный инструмент позволяющий вам налету изменять информацию. То есть, при парсинге вы можете вырезать или заменять определенные слова или целые блоки текста. Удалять или заменять в тексте названия сайта донора на ваш. И многое другое.
      - Поиск замена полностью поддерживает регулярные выражения.
      - Модуль способен парсить в многопоточном режиме. Что делает парсинг максимально быстрым.
      - Поддерживается парсинг с авторизацией.
      - Поддержка работы с прокси.
      - Собственный прокси чекер, позволяющий отобрать прокси сервера котороые будут работать с конкретным донором.
      - Возможна индивидуальная настройка запросов, Указание Cookies, User-Agent, Отправка собственных заголовков Headers
      - Система логирования позволяющая контролировать процесс парсинга на любом этапе.
      - Система кеширования сайта донора для безопасного парсинга подробнее Описание системы кеширования 
       
      Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.
       
      В данном модуле есть возможность парсить все данные в CSV файл
      Можно формировать прайс листы для загрузки их через популярные дополнения. 
      Такие как:
      Автоматическая обработка прайс листов. 
      CSV Price Pro import/export
       
      И это малая часть тех задач которые может выполнить данный модуль.
      SimplePars разрабатывается как универсальный парсер, у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты, уже зависит только от вас.
       
      Инструкция к модулю доступна по ссылке
      Инструкция к модулю SimplePars
       
       
      Демо сайт для ознакомления с интерфейсом и возможностями модуля
      Обратите внимание что на демо сайте парсинг недоступен.
      http://demo.simplepars.top/admin/
      Логин - demo
      Пароль - demo
       
      Лицензионное соглашение.
      Ознакомится
       
      Обзор возможностей модуля (Видео уже устарело. Модуль шагнул гораздо дальше )
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр Разрешить редактировать Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php
      Все, модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Выполнить ваш_сайт/inst.php
      3. Удалить с корня сайта файл inst.php
       
      После установки или обновления я вижу белый экран или ошибку 500
      Если видите белый экран, то вам необходимо перейти в архив с модулем в директорию Other versions of PHP и там будут лежать файлы под все версии php.
      Открываете папку с именем вашей версии php и загружаете содержимое в корень магазина.
      Добавил Rassol2 Добавлено 28.10.2018 Категория Парсеры Системные требования PHP >= 5.6 Сайт разработчика https://simplepars.top/ Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Да Старая цена 0  
    • By MaxD
      Скачать/Купить дополнение


      LiveImport - импорт Excel и сайтов
      Новинка! Мое новое дополнение Тестовый сайт создаст копию вашего магазина для тестов в один клик.
       
      Модуль для импорта таблиц (XLS, XLSX, CSV) и сайтов

      поддерживает импорт действительно больших файлов можно дописывать логику импорта в виде небольшого PHP-скрипта предустановленные настройки для AliExpress и eBay для любых сайтов можно настраивать через Мастер, как в ParseMX Язык - английский. Есть версии для OpenCart 1.5+, OpenCart 2.0 и самостоятельная.
      Работает с PHP 5.3 ... 7.0
      Это бета, поэтому имейте в виду, что все синтаксисы и разметки могут измениться в будущем без предупреждения и соблюдения обратной совместимости.
       
      Как настраивать парсинг одиночных товаров с сайта - https://youtu.be/W_yPVZsj62E
      Как настраивать авторизацию на доноре - http://liveimport.devs.mx/service/auth.html
       
      Для массового парсинга товаров с сайта необходимо приобрести лицензию.
       
      Также есть лицензия для массового импорта прайсов, c ней LiveImport сможет:
      хранить отдельно настройки для разных прайсов по кнопке удалять товары, импортированные из определенного прайса автоматически загружать прайсы с внешних серверов по расписанию, если надо - вытаскивать их из ZIP-архива удалять/отключать товары, которые были в прайсе, но пропали проверять, изменился ли файл с последнего обращения, чтобы не обрабатывать повторно старый материал  
      Установка для ocStore/OpenCart 2+
      Установка для ocStore/OpenCart 1.5+
      Установка самостоятельной версии
      Добавил MaxD Добавлено 22.02.2016 Категория Парсеры Системные требования Сайт разработчика http://liveimport.devs.mx/ Метод активации Без активации Ioncube Loader Нет OpenCart 2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Обращение к серверу разработчика Да Старая цена 0  
    • By MaxD
      Новинка! Мое новое дополнение Тестовый сайт создаст копию вашего магазина для тестов в один клик.
       
      Модуль для импорта таблиц (XLS, XLSX, CSV) и сайтов

      поддерживает импорт действительно больших файлов можно дописывать логику импорта в виде небольшого PHP-скрипта предустановленные настройки для AliExpress и eBay для любых сайтов можно настраивать через Мастер, как в ParseMX Язык - английский. Есть версии для OpenCart 1.5+, OpenCart 2.0 и самостоятельная.
      Работает с PHP 5.3 ... 7.0
      Это бета, поэтому имейте в виду, что все синтаксисы и разметки могут измениться в будущем без предупреждения и соблюдения обратной совместимости.
       
      Как настраивать парсинг одиночных товаров с сайта - https://youtu.be/W_yPVZsj62E
      Как настраивать авторизацию на доноре - http://liveimport.devs.mx/service/auth.html
       
      Для массового парсинга товаров с сайта необходимо приобрести лицензию.
       
      Также есть лицензия для массового импорта прайсов, c ней LiveImport сможет:
      хранить отдельно настройки для разных прайсов по кнопке удалять товары, импортированные из определенного прайса автоматически загружать прайсы с внешних серверов по расписанию, если надо - вытаскивать их из ZIP-архива удалять/отключать товары, которые были в прайсе, но пропали проверять, изменился ли файл с последнего обращения, чтобы не обрабатывать повторно старый материал  
      Установка для ocStore/OpenCart 2+
      Установка для ocStore/OpenCart 1.5+
      Установка самостоятельной версии
    • By kairos
      Здравствуйте уважаемые форумчане. Прошу подсказки у тех кто имеет опыт настройки php для парсеров, демонов либо других "долгоиграющих"  скриптов. Суть такая пишу скрипт загрузки товаров в интернет магазин из xml прайса. Столкнулся с той проблемой что на моем сервере парсер отрабатывает нормально, однако на хостинге клиента прекращает работу спустя 20-60  минут после запуска. В итоге я решил проверить как долго вообще будет выполнятся php скрипт на клиентском хостинге, для проверки написал что то вроде демона:
      <?php ini_set('max_execution_time', 0); set_time_limit(0); ini_set("memory_limit", "128M"); ignore_user_abort(true); ini_set('error_reporting', E_ALL); ini_set('display_errors', 1); ini_set('display_startup_errors', 1); function shutdown() { file_put_contents(__DIR__ . '/log/shutdown_log.txt', 'Выполнили функцию shutdown!'.PHP_EOL, FILE_APPEND); $err_arr = error_get_last(); $err = 'type - '.$err_arr['type'] . ' | message - '. $err_arr['message'] . ' | file - '.$err_arr['file']. ' | line - '.$err_arr['line']; file_put_contents(__DIR__ . '/log/shutdown_log.txt', $err, FILE_APPEND); } function sig_handler($signo) { $info = "\n" . 'received signal ' . $signo . "\n"; $info .= "\n" . 'Выполнили функцию sig_handler! ' . $signo . "\n"; file_put_contents(__DIR__ . '/log/sig_handler_log.txt', $info.PHP_EOL, FILE_APPEND); $err_arr = error_get_last(); $err = 'type - '.$err_arr['type'] . ' | message - '. $err_arr['message'] . ' | file - '.$err_arr['file']. ' | line - '.$err_arr['line']; file_put_contents(__DIR__ . '/log/sig_handler_log.txt', $err, FILE_APPEND); exit; } register_shutdown_function('shutdown'); declare(ticks = 1); pcntl_signal(SIGTERM, "sig_handler"); pcntl_signal(SIGINT, "sig_handler"); $time = date('H-i-s'); file_put_contents(__DIR__ . '/log/time_test_ON.txt', $time); while(true){ $time = date('H-i-s'); file_put_contents(__DIR__ . '/log/time_test_log.txt', $time); sleep(1); } После запуска демона через консоль, он прекращает работу примерно через 20 минут, при этом shutdown() и sig_handler() - никаких логов не создают. Хотя если убить скрипт через консоль командой kill pid то обе функции отрабатывают нормально, то есть логи создаются.
      В общем я в тупике, предполагаю что это некое ограничение на хостинге, однако не могу понять в чем именно оно состоит и как его пофиксить.
      Вот phpinfo хостинга.

      Сам хостинг расположен на twinservers.net панель управления Cpanel, судя по выделенной памяти похож на vps но точно я не уверен.
    • By Rassol2
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
       
      Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.
      Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

       
      Возможности модуля SimplePars
      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение интернет магазина.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в CSV файл для дальнейшей обработки. 
      Так же реализовано обновления товаров при помощи парсинга сайтов доноров. 
       
      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      - Полноценный парсер позволяющий парсить товары со сторонних магазинов и загружать себе.
      - Встроенный гибкий сборщик ссылок , который поможет собрать ссылки на необходимые товары.
      - Возможен парсинг и загрузка всех элементов товара.
      Код товара [model] Артикул [sku] Название Цена Количество Производитель Описание Категории Изображения Атрибуты Опций Данные - товара. Более подробно можете увидеть на скриншотах модуля.
       
      - Кроме загрузки возможно настройка обновления существующих товаров, цен, остатков и многое другое.
      - Идентификация товара по артикулу, модели или имени товара.
      - Доступна установка наценок любой сложности.
      - Парсинг / Составление SEO шаблонов и заполнение Мета данных товара, категорий, производителей. Заполнение SEO_URL
      - Формировать прайс csv с данными что вы парсите. Так же прайсы можно составлять в готовом формате для загрузки через АОП или любого другого загрузчика прайс листов. 
      - Поиск замена, мощный инструмент позволяющий вам налету изменять информацию. То есть, при парсинге вы можете вырезать или заменять определенные слова или целые блоки текста. Удалять или заменять в тексте названия сайта донора на ваш. И многое другое.
      - Поиск замена полностью поддерживает регулярные выражения.
      - Модуль способен парсить в многопоточном режиме. Что делает парсинг максимально быстрым.
      - Поддерживается парсинг с авторизацией.
      - Поддержка работы с прокси.
      - Собственный прокси чекер, позволяющий отобрать прокси сервера котороые будут работать с конкретным донором.
      - Возможна индивидуальная настройка запросов, Указание Cookies, User-Agent, Отправка собственных заголовков Headers
      - Система логирования позволяющая контролировать процесс парсинга на любом этапе.
      - Система кеширования сайта донора для безопасного парсинга подробнее Описание системы кеширования 
       
      Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парсить статьи, отзывы, блоги.
       
      В данном модуле есть возможность парсить все данные в CSV файл
      Можно формировать прайс листы для загрузки их через популярные дополнения. 
      Такие как:
      Автоматическая обработка прайс листов. 
      CSV Price Pro import/export
       
      И это малая часть тех задач которые может выполнить данный модуль.
      SimplePars разрабатывается как универсальный парсер, у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты, уже зависит только от вас.
       
      Инструкция к модулю доступна по ссылке
      Инструкция к модулю SimplePars
       
       
      Демо сайт для ознакомления с интерфейсом и возможностями модуля
      Обратите внимание что на демо сайте парсинг недоступен.
      http://demo.simplepars.top/admin/
      Логин - demo
      Пароль - demo
       
      Лицензионное соглашение.
      Ознакомится
       
      Обзор возможностей модуля (Видео уже устарело. Модуль шагнул гораздо дальше )
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр Разрешить редактировать Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php
      Все, модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Выполнить ваш_сайт/inst.php
      3. Удалить с корня сайта файл inst.php
       
      После установки или обновления я вижу белый экран или ошибку 500
      Если видите белый экран, то вам необходимо перейти в архив с модулем в директорию Other versions of PHP и там будут лежать файлы под все версии php.
      Открываете папку с именем вашей версии php и загружаете содержимое в корень магазина.
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.