[Поддержка] SimplePars - Універсальний парсер для ІМ

[Alexcctv]

  В 10.11.2019 в 13:13, Rassol2 сказав:

Альтернативный метот можно считать официально устаревшей технологией.
Смотрите - https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476467

Уже есть подход куда удобнее.

 

Если товар присвоен 2 категориям, и у вас есть ссылки на этот товар в 2 категориях, и там есть хлебные крошки в которых указаны пути к двум категорий. Тогда есть возможность реализовать.
И я сделаю такое. Но вы проверьте есть ли такое. Как правило товар видно в двух категориях, а ссылка на него одна и та же, и хлебные крошки одни и теже.
А если на сайте доноре нету двух наборов данных то и спарсить такое не получится.

По аналогии, Нельзя своровать то чего нет

Expand  

там хлебные крошки только на основной каталог идет к примеру мужское, бред блин)

 

•  
•  
• Женская коллекция
•  
• Женские Nike Air Max 95 All Yellow
  
   

[Rassol2]

  В 09.11.2019 в 19:25, stas2010 сказав:

про уровни вложения ссылок писал с самого начала, как видно, поклонники появились.

во многих парсерах отключение внешних ссылок присутствует.

Expand  

По сути модуль начал активно пилить в 19 году, и делаю это один все сразу за неделю реализовать не могу.
По этому в каждый конкретный момент от отталкиваюсь от того что чаше всего просят.
Ведь изначально не было очень много нужного и за что браться первым неясно.
Вот и настало время сделать уровни.

 

  В 09.11.2019 в 19:25, stas2010 сказав:

именно про это и писал. можно по-умолчанию сделать, чтобы внешние источники отсекало. хотя некоторые используют доп.домены

Expand  

Да наверное тоже реализую в следующем обновлении, что бы закрыть на время вопрос сбора ссылок и перейти дальше.
 

[Rassol2]

  В 10.11.2019 в 13:17, Alexcctv сказав:

там хлебные крошки только на основной каталог идет к примеру мужское, бред блин)

Expand  

ну вот.

Как вы понимаете нельзя забрать у человека мерседес, если у него его нету
Так и тут. Нельзя спарсить то чего нету.

[Alexcctv]

  В 10.11.2019 в 13:19, Rassol2 сказав:

ну вот.

Как вы понимаете нельзя забрать у человека мерседес, если у него его нету
Так и тут. Нельзя спарсить то чего нету.

Expand  

Ну так парсер по идее должен парсить пускай проверку по артикулу отключить если?Пусть дубли товара добавляет и все можно же так или нет?

[Rassol2]

  В 10.11.2019 в 13:25, Alexcctv сказав:

Ну так парсер по идее должен парсить пускай проверку по артикулу отключить если?Пусть дубли товара добавляет и все можно же так или нет?

Expand  

мне не ясна логика таких действий

Но модуль умеет такое.

  Показати вміст

Что это будет.
Модуль парсит ссылку получает данные и создает товар. В таком случаи он просто не проверяет есть такой товар или нет. Он будет создавать постоянно новые товары.
В независимости от того есть такой товар уже или нет.

Обратите внимание. Использование в такой настройке не имеет смысла, потому что вы можете создать кучу дублей товара.
 

[ililliliMusic]

Добрый день. Подскажите, функционал парсинга с партнеров через авторизацию еще не добавлен? Хотим работать с вашим модулем, но к сожалению у нашего партнера доступ к каталогу только через авторизацию. 

[Rassol2]

  В 11.11.2019 в 06:12, ililliliMusic сказав:

Добрый день. Подскажите, функционал парсинга с партнеров через авторизацию еще не добавлен?

Expand  

В модуле уже добавлена возможность парсить с авторизацией.
Для этого достаточно авторизоваться на сайте доноре и перенести cookies с браузера в модулю.
 

  Показати вміст

 

[zhumasds]

извините, ошибка.

Змінено 11 листопада 2019 користувачем zhumasds

[Rassol2]

  В 11.11.2019 в 09:38, zhumasds сказав:

добрый день!

А планируется ли парсинг с сайтов, требующих авторизации?)

было бы прекрасно)

Expand  

уже, даже сообщение выше про это

[zhumasds]

  В 11.11.2019 в 09:40, Rassol2 сказав:

уже, даже сообщение выше про это

Expand  

оттого и затёр своё сообщение, но скорость реагирования - достойна похвалы))) Спасибо!

Кстати, всё хотел спросить (быть может я и не понимаю, но проблему испытываю).

Вопрос: как модуль работает в случае повторяющихся границ (точнее, их экспорта в csv).

Ситуация: мне надо спарсить список категорий, допустим, я пишу в настройках 2-2 (пропускаю 2 повторения и 2 следующих беру).

Проблема: иногда их бывает не "2", а "1", то есть вместо ожидаемых мною 2-ух столбцов в csv файле, я получаю 1. При этом, следом, после категорий идёт парсинг цены.

 

Ожидание №1:

Так оно и работает, если всегда есть "2" категории.

Но бывает, что категорий не 2, а меньше, например "1".

Я ожидаю, что в прайсе будет так:

либо так:

 

Но получается вот так:

 

Проблему пока решаю переносом подобных "границ" в конец файла, но это ограничивает меня по парсингу атрибутов и фотографий, т.е. приходиться атрибуты и фото парсить с помощью АОП (а это - медленнее).

Может, этому уже есть решение?)

[Rassol2]

  В 11.11.2019 в 10:08, zhumasds сказав:

Проблему пока решаю переносом подобных "границ" в конец файла, но это ограничивает меня по парсингу атрибутов и фотографий, т.е. приходиться атрибуты и фото парсить с помощью АОП (а это - медленнее).

Может, этому уже есть решение?)

Expand  

Значит вы установили {csvnc} а если категорий меньше то и смешений будет меньше.
такой вопрос часто появляется.

Можете сделать вместо {csvnc} заменить на ~ и тогда у вас получится одна ячейка в которой будут записаны все категорий разделенные символом ~
Затем откроете прайс лист и через функцию в экселе разделить ячейку на много.


Таким способом можно решить вопрос.
Создав одну колонку под категории. Вторую под атрибуты. Третью под фото. А затем за 2 минуты в экселе разделить их для удобства.

[zhumasds]

  В 11.11.2019 в 10:27, Rassol2 сказав:

Значит вы установили {csvnc} а если категорий меньше то и смешений будет меньше.
такой вопрос часто появляется.

Можете сделать вместо {csvnc} заменить на ~ и тогда у вас получится одна ячейка в которой будут записаны все категорий разделенные символом ~
Затем откроете прайс лист и через функцию в экселе разделить ячейку на много.


Таким способом можно решить вопрос.
Создав одну колонку под категории. Вторую под атрибуты. Третью под фото. А затем за 2 минуты в экселе разделить их для удобства.

Expand  

Спасибо! Я с экселем не дружу, оттого и такие вопросы. Еще раз спасибо!

[Alexcctv]

  В 10.11.2019 в 13:30, Rassol2 сказав:

мне не ясна логика таких действий

Но модуль умеет такое.

  Показати вміст

Что это будет.
Модуль парсит ссылку получает данные и создает товар. В таком случаи он просто не проверяет есть такой товар или нет. Он будет создавать постоянно новые товары.
В независимости от того есть такой товар уже или нет.

Обратите внимание. Использование в такой настройке не имеет смысла, потому что вы можете создать кучу дублей товара.
 

Expand  

Извините за беспокойство в очередной раз, вот заметил у категории есть хлебная крошка
https://krossovki-stock.ru/index.php?route=product/category&path=70_71_175
а в товаре нету, каким то образом можно парсинг вести именно с категории и чтобы придавалась категория родительская ну мвроде как альтернативный парсинг, но настроить под сбор товаров короче кашка какашка в голове у меня с этим сайтом)

[Rassol2]

  В 11.11.2019 в 13:57, Alexcctv сказав:

Извините за беспокойство в очередной раз, вот заметил у категории есть хлебная крошка
https://krossovki-stock.ru/index.php?route=product/category&path=70_71_175
а в товаре нету, каким то образом можно парсинг вести именно с категории и чтобы придавалась категория родительская ну мвроде как альтернативный парсинг, но настроить под сбор товаров короче кашка какашка в голове у меня с этим сайтом)

Expand  

Я не представляю как это сделать.
У вас есть ссылка на товар в которой нету категорий.
Модуль парсит эту ссылку и берет все с нее. Но модуль не может знать что где то там в отдаленных уголках сайта есть страница на которой есть этот товар, и у той страницы есть категории.
 

Можете пойти другим путем, парсить пачками. Собрали ссылки на товар одной категории.
Затем парсити их.
В настройках парсинга в им сами вручную указываете категорию в которую сложить этот товар.

это можно сделать двумя сопосабами.
1. Вариант, если у вас в магазине нету категории

  Показати вміст

2. и второй более банальный если категория уже есть.

  Показати вміст

Выберите одну категорию из существующих. И модуль при парсинге все товары сложит туда.

И так по очереди все нужные вам категории, периодически менять куда сложить товар.

[Rassol2]

  В 11.11.2019 в 10:28, zhumasds сказав:

Спасибо! Я с экселем не дружу, оттого и такие вопросы. Еще раз спасибо!

Expand  

не за что. Рад был помочь.

[geepis]

Туман ! Чем дальше в лес ..... Нормальная инструкция будет по этому модулю . Я смотрю многие с легкостью разобрались в нем , по ходу программисты . Я себе лично уже все нервы с ним убил ! у меня вообще появилось мнение что он  может только ссылки собирать . 

Тем кто планирует его покупать - если вы не программисты  с начало ознакомтесь с инструкцией перед покупкой , кучу нервов сэкономите !

Змінено 11 листопада 2019 користувачем geepis

[Rassol2]

  В 11.11.2019 в 15:18, geepis сказав:

Туман ! Чем дальше в лес ..... Нормальная инструкция будет по этому модулю

Expand  

смотря что для вас нормальная ?
 

  Цитата

Он вообще может кроме как ссылки собирать что то делать.

Expand  

Причем очень и очень много все.
 

  В 11.11.2019 в 15:18, geepis сказав:

Тем кто планирует его покупать - если вы не программисты  с начало ознакомтесь с инструкцией перед покупкой , кучу нервов сэкономите !

Expand  

Тут я с вами согласен. Всегда перед покупкой луче ознакомьтесь с инструкцией. Это не только вам сэкономит нервы но и мне как разработчику.

@geepis Если у вас есть вопросы вы их можете здесь оставить и я отвечу на них.
 

[geepis]

  В 11.11.2019 в 15:23, Rassol2 сказав:

Причем очень и очень много все.

Expand  

как интересно ..... 

  В 11.11.2019 в 15:23, Rassol2 сказав:

Если у вас есть вопросы вы их можете здесь оставить и я отвечу на них.

Expand  

тут даже не вопрос ,  его просто не  с чего формулировать   . Потому что информации кроме как сбора ссылок то и нет не кокой ! Остальное все для более опытных людей знакомых с кодом ! Из тех пояснений что есть насчет модуля она вся расплывчата и разбита , собирать по кускам с учетом обновления не имеет смысла ! Не ужели сложно записать -написать нормальную инструкцию от А до Я , от сбора ссылок до занесения товара в магазин , потрати час своего времени я вас очень прошу и напишите или запишите такую инструкцию , раз уж не лень вам было написать столь полезный модуль (с ваших слов) а то как видите после покупки как выяснилось он не для всех оказался полезным , или правильней сказать не нашли ему правильного применения . Ну или на крайней случай напишите в заголовке "не уверен в себе не покупай " А то комменты вроде все хорошие хочется верить что модуль соответствует , да вот только мой коммент под товаром с не понятным задвигом и низкой оценкой куда то пропал ))) да и черт с ним я за него не парюсь там реально сам не разобрался сам напутал и написал не  в тему. Вы одно скажите мне модуль можно удалить или будет нормальная инструкция для чайников ?

[Rassol2]

  В 11.11.2019 в 16:35, geepis сказав:

Потому что информации кроме как сбора ссылок то и нет не кокой !

Expand  

Странно.

Инструкция по настройки параметров парсинга
https://simplepars.top/index.php?page=doc#tab_pars-setting
Поиск замена

https://simplepars.top/index.php?page=doc#tab_search-replace

Вкладка парсинг в CSV

https://simplepars.top/index.php?page=doc#tab_csv-setting

Вкладка парсинг в ИМ
https://simplepars.top/index.php?page=doc#tab_pars-store

И так далее, все по ссылке инструкции.

https://simplepars.top/index.php?page=doc
Да скриншоты уже устарели потому что очень активно развивается модуль. Но все что там написано актуально.

 

  В 11.11.2019 в 16:35, geepis сказав:

Из тех пояснений что есть насчет модуля она вся расплывчата и разбита , собирать по кускам с учетом обновления не имеет смысла !

Expand  

Все что сейчас приходит с обновлениями я заношу сюда.
https://simplepars.top/index.php?page=notes
В данном разделе обновляю информацию, и этот раздел заменит инструкцию. Поскольку здесь более удобно обновлять информацию.
 

  В 11.11.2019 в 16:35, geepis сказав:

Не ужели сложно записать -написать нормальную инструкцию от А до Я

Expand  

На данном этапе это НЕРЕАЛЬНО!
По этому я отвечаю на все вопросы. Не реально потому что уже 3 инструкции было написано. На написание инструкции от А до Я уйдет больше месяца. А устареет она через 2-3 обновления.
Модуль сейчас находится на той стадии когда есть много вешей которые можно и нужно реализовать. Если взять модули которым по 3-5 лет они основной фуницонал что хотели реализовали и сейчас занимаются шлифованием. И инструкция есть. Потому что по их модулям новое появляется раз в год. И написать раз в год статью не сложно.

У меня же новый функционал заезжает пачками раз в неделю. Как только более мение устаканится и доступного набора функционала будет достаточно можно написать дотошную инструкцию. Записать видео от А до Я рассказав о каждой запятой.

 

  В 11.11.2019 в 16:35, geepis сказав:

Вы одно скажите мне модуль можно удалить или будет нормальная инструкция для чайников ?

Expand  

Да модуль можно удалять. Это не запрещено ))

Инструкция есть, ссылки выше предоставил. И да она будет изменятся и будет еше луче. Буду записывать видео.
 

[Rassol2]

  В 11.11.2019 в 16:35, geepis сказав:

А то комменты вроде все хорошие хочется верить что модуль соответствует , да вот только мой коммент под товаром с не понятным задвигом и низкой оценкой куда то пропал ))) да и черт с ним я за него не парюсь там реально сам не разобрался сам напутал и написал не  в тему.

Expand  

Вы написали мне в личку что хотели бы удалить свой отзыв. Но не можете. Я отправил запрос в саппорт плошадки и они удалили.
Сейчас вы можете оставить его опять.
Если вы имели ввиду о нечестности комментов. Негативные отзывы так же остаются.
 

[geepis]

Вижу что для меня данный модуль не подходит , надеюсь не чего не поломается после удаления . 

[Rassol2]

  В 11.11.2019 в 17:16, geepis сказав:

Вижу что для меня данный модуль не подходит , надеюсь не чего не поломается после удаления . 

Expand  

Нет не поломается.
Модуль не вносит никаких изменений в стандартный движок. По сути вы можете просто ни заходить в модуль и все.
Сможете пользоваться когда инструкция будет того уровня что вам нужно.
 

Но если честно сейчас у меня такое впечатление.
Если делать инструкцию дотошной, будете писать что все сложно непонятно.
Если делать ее как можно понятнее опускать сложные схемы, будут писать не понятно как делать то или другое.

 

Наверное прав оказался @Axelenz

  В 06.11.2019 в 17:01, Axelenz сказав:

А вообще то Вы, автор, сделали модуль, который рассчитан на продвинутых пользователей (за что Вам огромная благодарность)... а хотите раздавать его в массы. Тогда Вам придётся параллельно открывать ещё и бесплатные курсы по принципам сайтостроения, html, php, регулярным выражениям...

Expand  

Какова инструкция не будет, все равно что то будет не ясно, и нужно задавать вопросы.
Модуль строю по единой системе так что поняв концепцию сможете парсить и в файл и в магазин.
Так что если передумаете пишите, буду отвечать на ваши вопросы.

[geepis]

  В 11.11.2019 в 17:26, Rassol2 сказав:

Нет не поломается.

Expand  

Да все норм работает , в любом случае спасибо за ответы.

[Shaer]

 

а можно еще вопрос? я купил модуль и установил. поставил на скан - и кроме бегунка результата нет.. остановил, поменял ссылку, запустил по новой - та же беда. не поверил глазам, перечитал инструкцию, посмотрел видео - все вроде правильно делаю. в чем может быть проблема? у мну ок 2,3,0,2 , версию ставил аутентичную тока бета. парсить пытался с ок 3.0 и с вордпреса

Змінено 11 листопада 2019 користувачем Shaer

[Rassol2]

  В 11.11.2019 в 20:07, Shaer сказав:

а можно еще вопрос? я купил модуль и установил. поставил на скан - и кроме бегунка результата нет.. остановил, поменял ссылку, запустил по новой - та же беда. не поверил глазам, перечитал инструкцию, посмотрел видео - все вроде правильно делаю. в чем может быть проблема? у мну ок 2,3,0,2 , версию ставил аутентичную тока бета. парсить пытался с ок 3.0 и с вордпреса

Expand  

Наверное потому что не нажали сохранить после того как записали стартовую ссылку.

  Показати вміст

В версии 2.9-6 это будет исправлено.
А то я смотрю сильно много людей забывают перед стартом нажать сохранить.