[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

53 минуты назад, rozario888 сказал:

Мы как филиал от производителя работаем, торгуем  внесезонным товаром. Какие то новинки заходят, иногда может по одному фото добавиться к прошлогоднему товару. Поэтому раз в полгода точно что-то обновляется.

Я на днях выгрузил все фото с оф.каталога, выгрузил свои с сайта и получилось много расхождений по кол-ву фотографий - их вот сейчас и обновляю (дополняю).

 

В общем пока буду использовать ваш модуль + АОП, вроде все корректно отработало, дубли убрались.  

Значит пока так. Не зря я же делал выгрузку в csv файл. Нужно применять 

[stas2010]

22 часа назад, Rassol2 сказал:

при парсинге товара модуль сам создает категории, производителей, атрибуты, все создает сам.

это хорошо, но есть одно НО. 

в магазине они могут уже существовать под другими именами, а автоматизация приводит к дублям, например, у меня "Производитель", у одного донора "ООО Производитель", у второго "Производитель имени сами знаете кого". Конечно можно почистить поиском-заменой, но для этого надо знать - что и на что менять.

[Rassol2]

1 минуту назад, stas2010 сказал:

это хорошо, но есть одно НО. 

в магазине они могут уже существовать под другими именами, а автоматизация приводит к дублям, например, у меня "Производитель", у одного донора "ООО Производитель", у второго "Производитель имени сами знаете кого". Конечно можно почистить поиском-заменой, но для этого надо знать - что и на что менять.

вот вот вы сами ответили. Через поиск замену. 
В любом случаи как то сопоставлять то нужно. 

[stas2010]

2 часа назад, Rassol2 сказал:

вот вот вы сами ответили. Через поиск замену. 

так это не ответ - это следующее действие после сбора списка. что мне прописать в поиск-замене, если я не знаю названий производителей, категорий, атрибутов? а также список нужен для создания той же таблицы.

так как не крути а создавать списка каким-то макаром приходится.

 

 

[rozario888]

1 час назад, stas2010 сказал:

если я не знаю названий производителей, категорий

Которые есть у донора? их же выгрузить можно и посмотреть что есть у него и сопоставить с тем что есть у вас...на выходе получим правило замены.

 

[Rassol2]

Обновление 2.3-6_Beta-2
 

Данное обновление не критично, я немного прокачал поиск замену. 

Теперь можно использовать в левой стороне правила {skip} и {br} одновременно.
Так же теперь можно использовать {br} в правой стороне правила. 

Что меняем|на что меняем

Где это может пригодится.
 

1. Есть доноры где описание товара начинается с Подробнее про (имя товар) 
 

Цитата

Описание: LED HB4-HB3 (9006 - 9005) Type 15 CSP C-N_30W, 4000Lm_5700K (комплект)

• Световой поток: 4000 Lm;
• Цветовая температура: 5700K;
• Тип цоколя: HB4-HB3 (9006 - 9005);
• Тип светодиодного элемента - CSP;
• Количество элементов - 8 (разработан для корректной работы в линзах);
• Система охлаждения: радиатор с авиационного алюминия (без кулера), с возможностью отвинчивания для удобств установки;
• Комплектация: 2-е LED лампы;
• Гарантия 12 месяцев.

На данных типах LED ламп установлены LED элементы – CSP, производства Кореи благодаря этому достигается мощный световой поток, при минимальном употреблении энергии.

 С-ма выносных драйверов (стабилизаторов напряжения) обеспечивает надежную и стабильную работу до 30000 часов.

Индивидуальной особенностью led Type 15 является эксклюзивная конструкция системы охлаждения, которая состоит из радиатора на резьбовом соединении с возможностью отвинчивания, для удобств установки, а так же проставки, что позволяет регулировать вынос радиатора (для цоколей Н1/Н3/Н7).

Допусти вы не хотите видит у себя в магазине строку Описание: LED HB4-HB3 (9006 - 9005) Type 15 CSP C-N_30W, 4000Lm_5700K (комплект)
До этого обновления написать правило которое позволяет вырезать первую строку было невозможно. 
Теперь возможно. Правило будет выглядеть так Описание:{skip}{br}|
Результат. 

На наш человеческий это звучит как. Найди слово Описание: и начни выделять пока пока не встретишь перенос строки. Как найдешь перенос строки выдели его и удали все что выделено. 
ну и многое другое что вашей фантазии будет угодно. 

2. {br} в правой стороне правила. Замена html тега <br> на перенос строки. Ну или любого другого кода. 

Есть такие сайты которые экономят трафик за счет вырезания всех переносов строки и лишних пробелов. И это имеет смысл если у вас в html переносы строки указаны явно тегом <br>
Но при парсинге если вы хотите удалить все теги html из описания вы ломает полностью форматирования данных
Пример.


Но теперь если вы добавите правила 
<br>|{br} - Заменит все <br> на перенос стороки
<{skip}>| - Удалит весь Html код

Результат

 

А теперь поговорим о плохом.
У меня не получается научить пред просмотр парсинга в csv выводить эти переносы строки. Вопрос с тем что браузер не может выводить спец символы, актуален. Браузер пытается обработать их и мне нужно преобразовывать все сущности. В итоге перенос строки тоже преобразуется и вы не сможете в пред просмотре парсинга csv увидеть этот результат.  но в сам прайс лист все парсится с переносом как нужно. 

Спасибо говорю себе @Rassol2  потому что делая заказ столкнулся в очередной раз с этой проблемой и решил забить гвоздь. 

[ackmatoff]

Здравствуйте, у меня ряд вопросов перед покупкой этого модуля;

1. Когда выйдет версия для опенкарт 3.0.2.?

2. Хотим автоматизировать всю работу, и у нас будут довольно много доноров сайтов. Вопрос, сможем ли мы сделать так чтобы каждый донор работал самостоятельно и мы могли обновлять данные (цены, сток итд) и автоматизировать эти данные?

3. Работаем мы в Турции, то есть доноры это турецкие сайты. Вопрос, парсить ли модуль с любого сайта?

4. Экспорт, сможем ли экспортировать данные (на пример в виде cvs, xml, xls ) и выдать ссылку нашим партнером чтобы они могли получать данные с нашего сайта?

Спасибо
 

[ackmatoff]

Здравствуйте, у меня ряд вопросов перед покупкой этого модуля;

1. Когда выйдет версия для опенкарт 3.0.2.?

2. Хотим автоматизировать всю работу, и у нас будут довольно много доноров сайтов. Вопрос, сможем ли мы сделать так чтобы каждый донор работал самостоятельно и мы могли обновлять данные (цены, сток итд) и автоматизировать эти данные?

3. Работаем мы в Турции, то есть доноры это турецкие сайты. Вопрос, парсить ли модуль с любого сайта?

4. Экспорт, сможем ли экспортировать данные (на пример в виде cvs, xml или xls) и выдать ссылку нашим партнером чтобы они могли получать данные с нашего сайта?

Спасибо
 

[Rassol2]

.

[Rassol2]

Здравствуйте.

 

2 часа назад, ackmatoff сказал:

1. Когда выйдет версия для опенкарт 3.0.2.?

Ближайшие месяц полтора.
 

 

2 часа назад, ackmatoff сказал:

2. Хотим автоматизировать всю работу, и у нас будут довольно много доноров сайтов. Вопрос, сможем ли мы сделать так чтобы каждый донор работал самостоятельно и мы могли обновлять данные (цены, сток итд) и автоматизировать эти данные?

На этот вопрос я не могу ответить вам однозначно, потому что вы не дали конкретные задачи которые вы хотите решить.
А слово автоматизировать может означать разное. Если вы в него вкладываете понятия добавить донора и он автоматом будет все делать как вам нужно, то нет.
Все же настраивать нужно любой донор. Нужна конкретика. 
 

2 часа назад, ackmatoff сказал:

3. Работаем мы в Турции, то есть доноры это турецкие сайты. Вопрос, парсить ли модуль с любого сайта?

Ограничений по национальным и религиозным признакам у модуля нету. 
Можете скинуть пример сайта и я проверю. 
Но турецкие сайты уже парсил данным модулем проблем не было. 

 

Цитата

4. Экспорт, сможем ли экспортировать данные (на пример в виде cvs, xml или xls) и выдать ссылку нашим партнером чтобы они могли получать данные с нашего сайта?

Данный модуль не про это, он парсит данные а не все в одном. Вам нужен модуль фида который будет выгружать ваши товары.

Этот же модуль может парсить сайт и загружать в магазин. Или же в прайс лист как вы выберете. 

[stas2010]

9 часов назад, Rassol2 сказал:

Так же теперь можно использовать {br} в правой стороне правила. 

за это отдельное спасибо

 

9 часов назад, Rassol2 сказал:

У меня не получается научить пред просмотр парсинга в csv выводить эти переносы строки. Вопрос с тем что браузер не может выводить спец символы, актуален.

ну так для вывода в броузере просто замени на <br> - обработай строку перед выводом.

 

[stas2010]

40 минут назад, Rassol2 сказал:

Цитата

4. Экспорт, сможем ли экспортировать данные (на пример в виде cvs, xml или xls) и выдать ссылку нашим партнером чтобы они могли получать данные с нашего сайта?

Данный модуль не про это, он парсит данные а не все в одном. Вам нужен модуль фида который будет выгружать ваши товары.

Этот же модуль может парсить сайт и загружать в магазин. Или же в прайс лист как вы выберете. 

а что мешает настроить парсинг в таблицу со своего сайта и дать ссылку на папку uploads?

[Rassol2]

4 минуты назад, stas2010 сказал:

за это отдельное спасибо

 

ну так для вывода в броузере просто замени на <br> - обработай строку перед выводом.

 

Бр тоже тег который будет будет переведен в сущность, и выведен в виде просто тега <br> а значит вместо того что бы увидеть переход на новую строку вы увидите тег <br> которого в действительности там нет. 
Вот такие пироги. 

[Rassol2]

17 минут назад, stas2010 сказал:

а что мешает настроить парсинг в таблицу со своего сайта и дать ссылку на папку uploads?

Это вообще без проблем. 
Ну комон это похоже на 
 

Спойлер

Может стоит для этого выбрать специальный модуль.  

[stas2010]

7 часов назад, Rassol2 сказал:

Бр тоже тег который будет будет переведен в сущность, и выведен в виде просто тега <br> а значит вместо того что бы увидеть переход на новую строку вы увидите тег <br> которого в действительности там нет. 

так это же надо только для отображения - почему бы не внести тэг<br> после перевода в сущность при выводе в броузере? тогда броузер будет показывать их

[Rassol2]

2 часа назад, stas2010 сказал:

так это же надо только для отображения - почему бы не внести тэг<br> после перевода в сущность при выводе в броузере? тогда броузер будет показывать их

потому что после замены <br> на перевод строки и перекодировку в сущности в коде нету пометок о переводе строки они вырезаны. 

[Rassol2]

@stas2010 а вообще я решу это проблему. 
Сейчас в приоритете 

1. Адаптация под Опенкарт и ocStore версии 3
2. Переработка сбора ссылок хочу переписать эту часть, попробовать добиться еше лучей производимости и гибкости. 
3. Крон! 

4. Прокси!

Ну и где то по этому пути буду вносить улучшения и исправлю этот алгоритм. 

[stas2010]

после сбора ссылок появилась надпись "Завершено", а страница не обновилась, чтобы вывести ссылки. 

[Rassol2]

3 часа назад, stas2010 сказал:

после сбора ссылок появилась надпись "Завершено", а страница не обновилась, чтобы вывести ссылки. 

Понял спасибо, запишу.
Но вроде это пока не критично. 

[Stin]

Подскажите, что не так я настроил, у донора к примеру в выдаче 4 страницы по 40 товаров, и парситься только первая страница. Остальные не парсятся! 

Вот донор Именно здесь нашел, что парсится только первая страница. Файл настрое приложил.

SPsetting-1.json

[Rassol2]

1 час назад, Stin сказал:

Подскажите, что не так я настроил, у донора к примеру в выдаче 4 страницы по 40 товаров, и парситься только первая страница. Остальные не парсятся! 

Вот донор Именно здесь нашел, что парсится только первая страница. Файл настрое приложил.

SPsetting-1.json 1 \u041c\u0411 · 0 downloads

не совсем понял вопрос.
У вас вопрос по сбору ссылок или по парсингу.

Я проверил у меня все ваши настройки запускаются и парсят. 

[Stin]

Сбор ссылок. У донора 4 страницы по 50 товаров, вот он и собирает эти 50 ссылок, а остальные 150 не собирает

[winner0377]

Подскажите пожалуйста, если использовал ранее парсер для парсинга сайтов доноров ParseMX на версии 1.5 а теперь перешел на 2.3 этот модуль выполнять необходимые задачи? 

 

[Rassol2]

13 часов назад, winner0377 сказал:

Подскажите пожалуйста, если использовал ранее парсер для парсинга сайтов доноров ParseMX на версии 1.5 а теперь перешел на 2.3 этот модуль выполнять необходимые задачи? 

 

какой то неправильный вопрос. 
Вы луче задачи опишите. А то ваш вопрос звучит как 
Раньше я ездил на Мазде сейчас буду ездить на Тойте. Вопрос Тойота справится с моими задачами. 

Вы бы задачу описали. Тогда было бы виднее. 

[Rassol2]

14 часов назад, Stin сказал:

Сбор ссылок. У донора 4 страницы по 50 товаров, вот он и собирает эти 50 ссылок, а остальные 150 не собирает

не знаю что вам ответить либо я чего то не понимаю либо. Вы. 
Вы скинули настройки и я тут вижу в списке страницы выдачи сылки на страницы товара 2,3,4 страницы.

Это говорит о том что модуль прошелся по всем страницам и собрал все ссылки. Не только первой страницы. 
http://joxi.ru/J2bV0xMF0Yq502

Так же я запустил у себя парсинг и все страницы были спарсены.