Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

Тільки що, Rassol2 сказав:

а как хотите вы ?
размер 36 евро

размер 22,5 см., 37 евро

размер 23,5 см., 38 евро

размер 24 см., 39 евро

Вот так в одном товаре ?
Это атрибуты так сам движок Опенкарт не умеет.
Так что это вопрос не к парсеру а к самому движку.

 

Да только дошло)) Спасибо, в парсере было бы круто еще сделать парсинг тегов к примеру, бывают сайты доноры с метками

Ссылка на комментарий
Поделиться на других сайтах


8 минут назад, bodyak0 сказал:

Да только дошло)) Спасибо, в парсере было бы круто еще сделать парсинг тегов к примеру, бывают сайты доноры с метками

А вообще есть смысл использовать теги в 2020 ?

Кто то это делает ?

Ссылка на комментарий
Поделиться на других сайтах

С добавлением новых товаров почти всё хорошо, а вот с обновлением существующих не всё есть. 

Задача - дополнить товар из базы новыми данными, подкорректировать существующие:

1. Взять название с донора.

2. В это название добавить границу + взять из атрибута существующего товара значение и добавить также в название.

 

пример.

сейчас в магазине имеем "LED 9ватт"

берем с донора название в виде границы Название {gr_1234} - "Светодиодная лампа 9W"

Берем из границы Артикул (gr_5678) сам артикул - 1111111111

берем для товара с артикулом 1111111111 из атрибутов {[Свет]} - "теплый свет" и {[Температура]} - "3000К"

дополняем текстом "(LED,)"

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

 

и тут опять приходим к тому, что это всё в конце надо подредактировать :(, убрав из полученного ",)" или ",," в случае пустых атрибутов.

 

В Excel реализована обработка "вечного цикла", может сообщение выводить, чтобы проверяли, если такое встретится.... или писать, что данная граница не может быть использована, т.к. задействована в такой-то границе....

 

 

Еще на заметку.

при создании таблицы есть "неудобство":

имеем в текстовом поле:

"Описание:

Граница 1

Граница 2

Граница 3

Свободный текст"

 

Предположим, что Граница 2 и 3 пустые, но задача составить текст с учетом того, что полная форма содержит значения всех границ, а если граница пуста, то и строку надо бы убрать.

по-этому имеем на выходе: 

"Описание

Текст из границы 1 .......

 

 

Свободный текст"

 

а должно быть:

"Описание

Текст из границы 1 .......

Свободный текст"

Ссылка на комментарий
Поделиться на других сайтах


1 час назад, Rassol2 сказал:

А вообще есть смысл использовать теги в 2020 ?

Кто то это делает ?

по роликам seo-спецов - еще актуальны, т.к. они потом дают дополнительные ссылки для перехода на страницу товара, что хорошо для поисковиков и поднимает в поисковиках.

Ссылка на комментарий
Поделиться на других сайтах


16 часов назад, stas2010 сказал:

пример.

сейчас в магазине имеем "LED 9ватт"

берем с донора название в виде границы Название {gr_1234} - "Светодиодная лампа 9W"

Берем из границы Артикул (gr_5678) сам артикул - 1111111111

берем для товара с артикулом 1111111111 из атрибутов {[Свет]} - "теплый свет" и {[Температура]} - "3000К"

дополняем текстом "(LED,)"

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

И это вы назвали не все есть в модуле для обновления товара ?
В таком случаи могли просто написать что модуле не хватает кнопки Сделай все хорошо, что бы мне понравилось.


Как пом мне в модуле все есть для обновления. А то что вы описали да я таких задач в парсинге не видел за всю мою практику парсинга, учитывая что у меня она прям очень большая.

16 часов назад, stas2010 сказал:

В Excel реализована обработка "вечного цикла", может сообщение выводить, чтобы проверяли, если такое встретится.... или писать, что данная граница не может быть использована, т.к. задействована в такой-то границе....

а если вы сделаете в поиск замене так,
<p>|{gran
</p>|_1}
{gran_1}|{gran_2}

Как я отловлю создание границы номер 1, если вы ее можете по букве туда засунуть, что бы я проверил и сказа ай как не хорошо.
да никак.
Единственное что я встречу это проблемы с зависанием модуля. Потому что пользователи не подумали при применении то или иной границы.

 

16 часов назад, stas2010 сказал:

Еще на заметку.

при создании таблицы есть "неудобство":

имеем в текстовом поле:

"Описание:

Граница 1

Граница 2

Граница 3

Свободный текст"

 

Предположим, что Граница 2 и 3 пустые, но задача составить текст с учетом того, что полная форма содержит значения всех границ, а если граница пуста, то и строку надо бы убрать.

по-этому имеем на выходе: 

"Описание

Текст из границы 1 .......

 

 

Свободный текст"

 

а должно быть:

"Описание

Текст из границы 1 .......

Свободный текст"

Не создавайте реализацию такого вида.

Граница 1

Граница 2

Граница 3

 

Делайте так

 

Граница 1 Граница 2 Граница 3 Свободный текст


И пусть переносы строк хранятся внутри саймой границы.
В случаи если в границе что то есть через регулярные выражения добавляем в конец строки перенос.
 

Спойлер

oI0expj.png


Граница  пустая регулярное выражения это видит и не добавляет перенос с вконец строки.
Считайте это уже реализовано просто поменяйте свой подход к формированию.

Ссылка на комментарий
Поделиться на других сайтах

3 часа назад, Rassol2 сказал:

Сделай все хорошо, что бы мне понравилось.

хорошая идея :) а когда появится ? :)

3 часа назад, Rassol2 сказал:

И пусть переносы строк хранятся внутри саймой границы.

хорошее решение. а "Добавить в конце" примет {br}?

 

3 часа назад, Rassol2 сказал:

а если вы сделаете в поиск замене так,
<p>|{gran
</p>|_1}
{gran_1}|{gran_2}

Как я отловлю создание границы номер 1

как вариант - запретить замену на "{gr". 

замену границ - надо помозговать....

 

в моем пример подразумевается, что границы уже заранее созданы. а обработку созданной границы можно перенести в новую границу.

3 часа назад, Rassol2 сказал:

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

это будет границу Название_1, а 

 

20 часов назад, stas2010 сказал:

убрав из полученного ",)" или ",," в случае пустых атрибутов

это будет граница Название_2, которая и пойдет в таблицу или на сайт как название.

 

Ссылка на комментарий
Поделиться на других сайтах


29 минут назад, stas2010 сказал:

хорошее решение. а "Добавить в конце" примет {br}?

да ее.
 

29 минут назад, stas2010 сказал:

как вариант - запретить замену на "{gr". 

замену границ - надо помозговать....

 

в моем пример подразумевается, что границы уже заранее созданы. а обработку созданной границы можно перенести в новую границу.

Я пока сильно не  вникаю в такие задачи. Голова не как у :(
Когда будет реализованы все задачи первой необходимости, и начнется период что нечего делать, вот тогда я буду активно делать подобные реализации, которые выходят за границы массовой потребности.
Даже сейчас я на скидку представляю такие проблемы как
Добавил {gran_1000} а у вас ее нету, модуль не скажет что так делать нельзя. Затем идем в создание границы и создаем новую. Предыдуший id границы был {gran_999} новая получит {gran_1000}
Я как бы не среднестатистический человек и понимаю что вероятность этого стремится к нулю. Но когда это произойдет и модуль попадет в вертикальное пике с бесконечным циклом и мне напишут "почему не работает" или "все зависло", я буду рвать волосы на всех местах что бы предсказать такое поведение и указать на ошибку в настройках.


В этом случаи я воспользуюсь практикой разработчиков php не внедряю по причине сильно сложно для понимания. Да и спрос пока минимален.
Вырастет спрос, или уменьшится количество задач на реализацию, тогда добро пожаловать начинаем реализовывать.

 

Цитата

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

ну а что мешает сейчас это делать ?

Составили границу парсинга имени товара, составили границу парсига значения нужных атрибутов и затем.
 

Спойлер

Wot89yQ.png

Дак еше и между границами можно засунуть все что угодно.

Ссылка на комментарий
Поделиться на других сайтах

55 минут назад, pycha сказал:

Хотел спросить, есть ли импорт / экспорт в xml файл?  

Здравствуйте.
нету есть только в csv
С него можете пере сохранить в любой формат при помощи того же MS оффис.

Ссылка на комментарий
Поделиться на других сайтах

6 часов назад, pycha сказал:

Хотел спросить, есть ли импорт / экспорт в xml файл?  

только в csv. конвертнуть в xml,xls, или в другой формат можно без проблем через Excel или другие аналоги.

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


5 часов назад, Rassol2 сказал:

Добавил {gran_1000} а у вас ее нету

ну нету, значить просто пусто прилетело

 

5 часов назад, Rassol2 сказал:
Цитата

склеиваем и получаем "{gr_1234} (LED,{[Свет]},{[Температура]})" и как результат -  "Светодиодная лампа 9W (теплый свет, 3000К)".

ну а что мешает сейчас это делать ?

Составили границу парсинга имени товара, составили границу парсига значения нужных атрибутов и затем.
 

 

в том то и дело, что у донора нет этих значений, а в уже существующем товаре в атрибутах есть. частенько доноры используются для добора каких-либо данных.

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, stas2010 сказал:

ну нету, значить просто пусто прилетело

 

 

в том то и дело, что у донора нет этих значений, а в уже существующем товаре в атрибутах есть. частенько доноры используются для добора каких-либо данных.

то есть вы хотите не парсить эти значения.
Вы хотите обновлять товар и формировать названия из сушествующих данных товара.
Это уже на грани работы парсера, тут вам скорее нужно использовать модуль batch_editor к примеру. Он умеет пакетно редактировать товары, там есть функция для составления строк из данных существующих в товаре.
Раньше точно была.

В ней наверное будет правильнее составлять имя товара чем дергать для таких нужд парсинг.
 

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, Rassol2 сказал:

ну нету, значить просто пусто прилетело

имелось в виду, у меня-то будут значения с донора, а это для тех случаев, когда действительно прилетело с парсинга пустое значение, либо просто пустая либо не существующая граница.

 

1 час назад, Rassol2 сказал:

Вы хотите обновлять товар и формировать названия из сушествующих данных товара.

обновление и формирование названия, описания и др. из существующих данных и данных парсинга.

универсальность бы была именно в том, что можно бы было слепить за один заход новую границу из любого типа данных - границы парсинга, имеющихся данных в атрибутах,возможно и из существующего описания, свободного текста. и вставить это в карточку товара.

формирование названия было приведено как один из таких случаев.

как еще пример - задача вставить в описание текст "Модель 2018 года", где 2018 нет у донора, но есть в карточке товара в атрибутах. 

 

Конечно, можно извратнутся и для автоматизации процесса сделать новый проект и спарсить свой же сайт и слепить уже из собранных заранее данных нужные названия, описания  и др. и обновить их.

 

batch_editor есть, надо глянуть, но это уже третий инструмент как минимум будет для формирования карточки товара... 

 

не знаю, как у вас, но у меня карточка товара формируется минимум из двух источников, в которых взаимно отсутсвуют какие-либо данные. 

 

Ссылка на комментарий
Поделиться на других сайтах


8 минут назад, stas2010 сказал:

обновление и формирование названия, описания и др. из существующих данных и данных парсинга.

универсальность бы была именно в том, что можно бы было слепить за один заход новую границу из любого типа данных - границы парсинга, имеющихся данных в атрибутах,возможно и из существующего описания, свободного текста. и вставить это в карточку товара.

формирование названия было приведено как один из таких случаев.

как еще пример - задача вставить в описание текст "Модель 2018 года", где 2018 нет у донора, но есть в карточке товара в атрибутах. 

 

Конечно, можно извратнутся и для автоматизации процесса сделать новый проект и спарсить свой же сайт и слепить уже из собранных заранее данных нужные названия, описания  и др. и обновить их.

 

batch_editor есть, надо глянуть, но это уже третий инструмент как минимум будет для формирования карточки товара... 

 

не знаю, как у вас, но у меня карточка товара формируется минимум из двух источников, в которых взаимно отсутсвуют какие-либо данные. 

Давайте вернемся к этому вопросу когда в модуле будет создана новая вкладка, работа с существующими товарами. Аналог инструментов АОП

Просто тогда будет готовится плацдарм для дерганая разных значений из товаров и производить с ними какие то действия.

А так то что вы описываете возможно и прикольно было бы, но прежде чем реализовывать нужно составить не хилый план и все обдумать. Вот когда будет создаваться такая вкладка тогда уже будет некий плацдарм для работы в этом направлении.

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах

В 08.02.2020 в 11:27, Rassol2 сказав:

а как хотите вы ?
размер 36 евро

размер 22,5 см., 37 евро

размер 23,5 см., 38 евро

размер 24 см., 39 евро

Вот так в одном товаре ?
Это атрибуты так сам движок Опенкарт не умеет.
Так что это вопрос не к парсеру а к самому движку.

 

Приветствую, а возможность парсить фото опции будет?

Ссылка на комментарий
Поделиться на других сайтах


4 минуты назад, bodyak0 сказал:

Приветствую, а возможность парсить фото опции будет?

Да будет.
Дальше будет интересно )

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, Rassol2 сказал:

Давайте вернемся к этому вопросу когда в модуле будет создана новая вкладка, работа с существующими товарами. Аналог инструментов АОП

Просто тогда будет готовится плацдарм для дерганая разных значений из товаров и производить с ними какие то действия.

А так то что вы описываете возможно и прикольно было бы, но прежде чем реализовывать нужно составить не хилый план и все обдумать. Вот когда будет создаваться такая вкладка тогда уже будет некий плацдарм для работы в этом направлении.

пишите в планы. будем обсуждать :) ждём...

Ссылка на комментарий
Поделиться на других сайтах


В 08.02.2020 в 12:37, Rassol2 сказал:

А вообще есть смысл использовать теги в 2020 ?

Кто то это делает ?

в дополнение к вышесказанному  - в opencart (не знаю как в голой версии) в шаблонах и дополнительные поисковые модули как раз при поиске смотрят тэги. так что для opencart это будет актуально всегда.

Ссылка на комментарий
Поделиться на других сайтах


буду думать.

Ссылка на комментарий
Поделиться на других сайтах

Обновление v3.1-3

Это уже стабильная версия с использованием кэша.
Все о чем писали пользователи было исправлено, хотя в этом бета релизе почти не было сообщений об ошибках. Так что не исключаю возможность того что еше всплывут какие то недочеты. Но буду активно править.

В этот релиз вошли все наработки бета ветки.

Обновление 3.0-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1521785

Обновление 3.0-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1525018

Обновление 3.1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1531698

Обновление 3.1-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1534217

Обновление 3.1-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1535787

 

Так же добавил переключатель работы с кешем на все страницы где запускается парсинг.

 

Сбор ссылок

Спойлер

JRGAoCW.png

Прасинг в CSV

Спойлер

aDuNoqd.png

Парсинг в им

Спойлер

M8R18gH.png



Из парсинга в CSV убрал возможность выбора символа для экранирования текста, это настройка оказалась полность не востребована все используют значение по умолчанию

При обновлении не забудьте выполнить /inst.php
 

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах

Вот такая проблема сегодня появилась на сайте. Ранее парсился все хорошо, а сегодня сюрприз 

http://prntscr.com/r1ptzr

Ссылка на комментарий
Поделиться на других сайтах


5 минут назад, ihos сказал:

Вот такая проблема сегодня появилась на сайте. Ранее парсился все хорошо, а сегодня сюрприз 

http://prntscr.com/r1ptzr

Здравствуйте.
Как видно сайт донор за 10сек не отдал страницу модулю.

Но это не ошибка модуля )

Ссылка на комментарий
Поделиться на других сайтах

 

6 минут назад, Rassol2 сказал:

Здравствуйте.
Как видно сайт донор за 10сек не отдал страницу модулю.

Но это не ошибка модуля )

а если увеличить размер не 10 сек, а больше, хотя там за 3 сек все грузит

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, ihos сказал:

 

а если увеличить размер не 10 сек, а больше, хотя там за 3 сек все грузит

это поможет если проблемы где то в работе сайта донора и он формирует долго ответ.
А если это умышленное действие со стороны донора то это не поможет.

Допустим если им надоело что вы постоянно их парсите и создаете нагрузку и они решили все запросы с вашего ip игнорировать, тогда это не решит вашу проблему.
Но можете пробовать.

Для теста сделал запрос с модуля на ваш сайт донор.
 

Спойлер

bsaixvE.png

Результат без проблем парсится. Отсюда есть подозрение что это блокировки на ваш ip

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, Rassol2 сказал:

это поможет если проблемы где то в работе сайта донора и он формирует долго ответ.
А если это умышленное действие со стороны донора то это не поможет.

Допустим если им надоело что вы постоянно их парсите и создаете нагрузку и они решили все запросы с вашего ip игнорировать, тогда это не решит вашу проблему.
Но можете пробовать.

Для теста сделал запрос с модуля на ваш сайт донор.
 

  Показать контент

bsaixvE.png

Результат без проблем парсится. Отсюда есть подозрение что это блокировки на ваш ip

Та да, уже вижу...

 

Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.