[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

41 минуту назад, Zetx сказал:

Добрый день!
скажите, кто использует данный модуль, можно ли ним парсить из закрытых персональных кабинетов для дилеров? тоесть чтоб попасть в каталог товаров, сначала нужно ввести логин и пароль, а карточки товара появляются при клике в всплывающем окне

Здравствуйте.
На данным момент парсинг с авторизацией не реализован. 

[Zetx]

4 часа назад, Rassol2 сказал:

Здравствуйте.
На данным момент парсинг с авторизацией не реализован. 

а какие-то решения можете посоветовать исходя из своего опыта? можно в личку...

[Rassol2]

1 час назад, Zetx сказал:

а какие-то решения можете посоветовать исходя из своего опыта? можно в личку...

В виде моделей для опенкарт. Парсер который парсил бы все только АОП
но что бы он еше и работал с авторизацией тут выбора нету. 
АОП может парсить с авторизацией при учете что вы вручную запишите все куки в код сайта. 
Мой тоже можно заставить парсить с авторизацией если :
1. Авторизация работает через сесию по кукам. 
2. И вы знаете что такое куки. 

тогда можете написать мне в лс, И я распишу вам где в коде записать куки что бы модуль прикинулся авторизованным пользователем. 

[Zetx]

52 минуты назад, Rassol2 сказал:

В виде моделей для опенкарт. Парсер который парсил бы все только АОП
но что бы он еше и работал с авторизацией тут выбора нету. 
АОП может парсить с авторизацией при учете что вы вручную запишите все куки в код сайта. 
Мой тоже можно заставить парсить с авторизацией если :
1. Авторизация работает через сесию по кукам. 
2. И вы знаете что такое куки. 

тогда можете написать мне в лс, И я распишу вам где в коде записать куки что бы модуль прикинулся авторизованным пользователем. 

ну насколько я знаю для начала парсинга нужно иметь ссылки на карточки товаров...

а у меня их нет... АОП или ваш модуль эту проблему решает?

[Atlet]

1 час назад, Zetx сказал:

ну насколько я знаю для начала парсинга нужно иметь ссылки на карточки товаров...

а у меня их нет... АОП или ваш модуль эту проблему решает?

Zetx, сейчас на форуме идёт активная реклама стороннего модуля, который все может. Правда боты, которые его пиарят, не отписываться о результатах после десятков прогонов прайсов. Например

Решайте сами.

[Atlet]

2 часа назад, Zetx сказал:

ну насколько я знаю для начала парсинга нужно иметь ссылки на карточки товаров...

а у меня их нет... АОП или ваш модуль эту проблему решает?

Zetx, как там с этим то

Или дальше баламутить людей?

[Rassol2]

2 часа назад, Zetx сказал:

ну насколько я знаю для начала парсинга нужно иметь ссылки на карточки товаров...

а у меня их нет... АОП или ваш модуль эту проблему решает?

АОП не собирает ссылки. Мой может собрать ссылки.
Но я буду честен мой модуль пока что не умеет и десятой части того что умеет аоп. 

Но вся соль в том что аоп это обработчик прайс листов, который умеет парсить. Изначальная его задача загрузить данные с прайс листа. И спарсить недостающие данные с сайта донора если есть такая возможность.

Мой же модуль это парсер перед которым изначально поставлена задача спарсить данные и формировать прайс или загрузить в магазин. 
Загрузка в магазин только начала развитие. 

По поводу модуля который парсить любые виды  

XML
YML
перед тем как я должен был уехать я уже начал переделывать систему парсинга csv 

http://joxi.ru/L21z75nsRDzOlA

Эта система позволит мне реализовать парсинг и разбор фидов любого типа. И составления из них прайсов.
Или же загрузку сразу в магазин. 

То есть имея одну ссылку на фид поставщика можно будет легко обновить товары или заполнить магазин. 

Будем работать. 

[Zetx]

1 час назад, Atlet сказал:

Zetx, сейчас на форуме идёт активная реклама стороннего модуля, который все может. Правда боты, которые его пиарят, не отписываться о результатах после десятков прогонов прайсов. Например

Решайте сами.

о том чудо модуле я в курсе... я же собственно и открыл одну из тем по данному модулю, после того, как мне в личку начали бомбить с предложением его купить...но тогда я еще не понял, что это были боты...

[Zetx]

42 минуты назад, Atlet сказал:

Zetx, как там с этим то

Или дальше баламутить людей?

я его не покупал... на форуме его нет, подозрительно как то стало

 

42 минуты назад, Atlet сказал:

Или дальше баламутить людей?

не понял вас... что вы имеете ввиду?

[Zetx]

46 минут назад, Rassol2 сказал:

АОП не собирает ссылки. Мой может собрать ссылки.
Но я буду честен мой модуль пока что не умеет и десятой части того что умеет аоп. 

Но вся соль в том что аоп это обработчик прайс листов, который умеет парсить. Изначальная его задача загрузить данные с прайс листа. И спарсить недостающие данные с сайта донора если есть такая возможность.

Мой же модуль это парсер перед которым изначально поставлена задача спарсить данные и формировать прайс или загрузить в магазин. 
Загрузка в магазин только начала развитие. 

По поводу модуля который парсить любые виды  

XML
YML
перед тем как я должен был уехать я уже начал переделывать систему парсинга csv 

http://joxi.ru/L21z75nsRDzOlA

Эта система позволит мне реализовать парсинг и разбор фидов любого типа. И составления из них прайсов.
Или же загрузку сразу в магазин. 

То есть имея одну ссылку на фид поставщика можно будет легко обновить товары или заполнить магазин. 

Будем работать. 

да, интересный у вас модуль, хотя я его еще не ставил...не было необходимости, правда скачал еще когда он был бесплатный... но суть не в том

полноценного парсера как раз для опенкарт и не хватало... будем следить за проектом. если он сможет парсить с любых сайтов, в т.ч. закрытых и при этом формировать качественный файл - это вообще будет круто! А для обработки есть АОП, вашему то в принципе и не нужно.

[Rassol2]

Внимание.
При обновлении товара если вы выбрали опцию обновлять фото то модуль обновить все главные фото у товар по последнему спарсеному. 
Это ошибка модуля, ближайшие дни выложу обновление с исправлением этой ошибки.

[v2o15]

В общем такая ситуация, хоть и установил фильтры на шаблон собираемых и отображаемых ссылок, они все равно не применились. Когда запускал повторную обработку фильтров, выскочила ошибка  Internal Server Error .
решил тестануть, запустил импорт в магазин со всеми ссылками, товары добавились без проблем как и должно.. картинки появились не везде... повторно начал добавлять одна картинка на всех товарах.. как быть почему нет картинок???
Думал решить задачу через другой импорт, прописал ссылки на картинки к товарам, запускаю импорт и такая же проблема Internal Server Error ...
Помогите плиз буду оч благодарен!

[Rassol2]

Обновление v2.3_Beta-1

1. исправление ошибок. В частности той что я написал в предыдущем посте. По поводу фото. 
2. Переработана система формирования прайс листов. 

 

Описание новой системы формирования прайс листов.

 

Много кто просил комбинировать разные границы парсинга для записи в одну ячейку. Вот первый шах в сторону универсальности в формировании прайс листов. 
Система похожа на ту что реализована в парсинге товаров в интернет магазин. 

 

Собственно по порядку.
1. Добавляете нужное количество колонок в прайс листе.
2. Здесь выбираете какой значение будет записано в ячейках данной колонки. 
Это может быть любой текст или просто пустая колонка. Если вы хотите добавить границу парсинга тогда выбираете из выпадающего меню напротив нужной вам колонки границу парсинга. 
После выбора границы парсинга в значения будет записано {gran_id}
Где - id это идентификатор границы парсинга. Кто хочет может вручную прописывать все границы. А кто не хочет может просто выбирать их из списка. 
Так же в поле значения можно тебе комбинировать любое количество границ парсинга, обычных повторяющихся, вперемешку с произвольным текстом. 
Короче как угодно. Так же если вы в поле значение сделаете перенос строки как видно на скриншоте в поле описание, такой же результат будет в прайс листе.

Вот результат

Обратите внимание что в ячейку описания было записан произвольный текст. + границы парсинга.

Так же в поле значения можно использовать операторы
{csvnc} сдвинутся на одну ячейку в право.
{csvnl} перейти на новую строку.
 

ВНИМАНИЕ перенос строки не показывается в пред просмотре. Хотя в прайс лист все сохраняет с соответствующим форматированием. Пока что эту проблему я не решил, в следующих обновления думаю поправлю.

 

3. Выпадающий список для выбора границы парсинга. 

 

Описал коротко. Но это значительное изменение. И большой шаг в парсинге в прайс лист. 
 

При обновлении необходимо выполнить /inst.php

[Rassol2]

4 минуты назад, v2o15 сказал:

одна картинка на всех товарах.. как быть почему нет картинок???

Буквально вчера написал про это. 
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1340788

Сообщение над вашим сразу же. 

И буквально 2 минуты назад обновил модуль с исправлением этой ошибки. 
Сообщение под вашим. 
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1342181

 

 

Цитата

В общем такая ситуация, хоть и установил фильтры на шаблон собираемых и отображаемых ссылок, они все равно не применились. Когда запускал повторную обработку фильтров, выскочила ошибка  Internal Server Error .

Сделайте экспорт настроек и скиньте мне в лс посмотрю что у  вас там. 

[Rassol2]

Так же забыл добавить. Что теперь если в значение написать {link} модуль в это место вставит ссылку с которой был произведен парсинг. 
http://joxi.ru/Vrw8Kygu7gXvLm

 

 

 

[v2o15]

39 минут назад, Rassol2 сказал:

Буквально вчера написал про это. 
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1340788

Сообщение над вашим сразу же. 

И буквально 2 минуты назад обновил модуль с исправлением этой ошибки. 
Сообщение под вашим. 
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1342181

 

 

Сделайте экспорт настроек и скиньте мне в лс посмотрю что у  вас там. 

Спасибо, сейчас затестируем

[Axelenz]

 Неправильный формат файла настроек.

Как не пробовал через экспорт и импорт перенести настройки - ничего не получается. Выдаёт всё время ошибку, что вверху... Пробовал без ссылок, поскольку ссылочная масса больше 80,000... 

[Rassol2]

6 минут назад, Axelenz сказал:

 Неправильный формат файла настроек.

Как не пробовал через экспорт и импорт перенести настройки - ничего не получается. Выдаёт всё время ошибку, что вверху... Пробовал без ссылок, поскольку ссылочная масса больше 80,000... 

На новую версию ?

Скиньте мне в ЛС в архиве файл экспорта. Я проверю все и отпишусь.

[v2o15]

Обновленная версия решила проблему с картинками, большое спасибо! ЧТо делать с ошибкой сервера? она появляется при фильтре ссылок

[v2o15]

А если вот где парсишь нет артикула, как его можно сгенерить чтоб уникальный был  и загрузилось на сайт?

[Rassol2]

30 минут назад, v2o15 сказал:

А если вот где парсишь нет артикула, как его можно сгенерить чтоб уникальный был  и загрузилось на сайт?

пока что я не реализовал возможность генерировать уникальный артикул к товару но есть очень хорошая идея которую я позже расскажу.  
по поводу ошибки пришлите в лс ваши настройки посмотрю у себя что это такое и смогу вам подсказать. 

[Rassol2]

Обновление 2.3-1_Beta-1

Занес все недочеты о которых сообщили с момента выхода версии 2.3

Релиз чисто исправлений мелких недочетов. 

[Rassol2]

Обновление 2.3-2_Beta-2

Отключил проверку сертификата ssl по умолчанию. Бывают сайты доноры у которых кривые сертификаты по этому модуль не хочет загружать страницу из не доверенного источника. 
Отключил по умолчанию.

Так как больше сбоев не было так что думаю модуль переходит в бето 2. 
 

PS, можете хоть мелочам что то накрыл )))

[rozario888]

Как относительного такого когда сделать сбор всех картинок? Главную не проблема настроить, а с повторяющимися че т буксую...

Создал обычную с границами  <img src=" и ", затем с повторяющимися с выбором первой страницы и  <div class="print_only"> с </div>

Неправильно?

 

<div class="print_only main"><img src="/upload/iblock/7a7/830x620_dc_lagoon.png" alt="image"></div>

<div class="print_only">

<div>

<img src="/upload/iblock/7a7/830x620_dc_lagoon.png" alt="image">

<img src="/upload/iblock/c8a/lagoon_dc_front_830x620px.png" alt="image">

<img src="/upload/iblock/1b6/lagoon_bok_830x620px.png" alt="image">

<img src="/upload/iblock/146/bse_bsag_out_830x620.png" alt="image">

<img src="/upload/iblock/a54/830x620_lagoon_pult_front.png" alt="image">

<img src="/upload/iblock/6e0/lagoon_dc_macro1_830x620px.png" alt="image">

<img src="/upload/iblock/402/lagoon_dc_macro2_830x620px.png" alt="image">

<img src="/upload/iblock/0d6/lagoon_dc_macro3_830x620px.png" alt="image">

</div>

</div>

</noindex>

[Rassol2]

Через 30 минут буду в сети попробую объяснить.