[Поддержка] SimplePars - Универсальный парсер для ИМ

[Alexcctv]

3 минуты назад, Rassol2 сказал:

Альтернативный метот можно считать официально устаревшей технологией.
Смотрите - https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476467

Уже есть подход куда удобнее.

 

Если товар присвоен 2 категориям, и у вас есть ссылки на этот товар в 2 категориях, и там есть хлебные крошки в которых указаны пути к двум категорий. Тогда есть возможность реализовать.
И я сделаю такое. Но вы проверьте есть ли такое. Как правило товар видно в двух категориях, а ссылка на него одна и та же, и хлебные крошки одни и теже.
А если на сайте доноре нету двух наборов данных то и спарсить такое не получится.

По аналогии, Нельзя своровать то чего нет

там хлебные крошки только на основной каталог идет к примеру мужское, бред блин)

 

•  
•  
• Женская коллекция
•  
• Женские Nike Air Max 95 All Yellow
  
   

[Rassol2]

17 часов назад, stas2010 сказал:

про уровни вложения ссылок писал с самого начала, как видно, поклонники появились.

во многих парсерах отключение внешних ссылок присутствует.

По сути модуль начал активно пилить в 19 году, и делаю это один все сразу за неделю реализовать не могу.
По этому в каждый конкретный момент от отталкиваюсь от того что чаше всего просят.
Ведь изначально не было очень много нужного и за что браться первым неясно.
Вот и настало время сделать уровни.

 

17 часов назад, stas2010 сказал:

именно про это и писал. можно по-умолчанию сделать, чтобы внешние источники отсекало. хотя некоторые используют доп.домены

Да наверное тоже реализую в следующем обновлении, что бы закрыть на время вопрос сбора ссылок и перейти дальше.
 

[Rassol2]

1 минуту назад, Alexcctv сказал:

там хлебные крошки только на основной каталог идет к примеру мужское, бред блин)

ну вот.

Как вы понимаете нельзя забрать у человека мерседес, если у него его нету
Так и тут. Нельзя спарсить то чего нету.

[Alexcctv]

5 минут назад, Rassol2 сказал:

ну вот.

Как вы понимаете нельзя забрать у человека мерседес, если у него его нету
Так и тут. Нельзя спарсить то чего нету.

Ну так парсер по идее должен парсить пускай проверку по артикулу отключить если?Пусть дубли товара добавляет и все можно же так или нет?

[Rassol2]

6 минут назад, Alexcctv сказал:

Ну так парсер по идее должен парсить пускай проверку по артикулу отключить если?Пусть дубли товара добавляет и все можно же так или нет?

мне не ясна логика таких действий

Но модуль умеет такое.

Спойлер

Что это будет.
Модуль парсит ссылку получает данные и создает товар. В таком случаи он просто не проверяет есть такой товар или нет. Он будет создавать постоянно новые товары.
В независимости от того есть такой товар уже или нет.

Обратите внимание. Использование в такой настройке не имеет смысла, потому что вы можете создать кучу дублей товара.
 

[ililliliMusic]

Добрый день. Подскажите, функционал парсинга с партнеров через авторизацию еще не добавлен? Хотим работать с вашим модулем, но к сожалению у нашего партнера доступ к каталогу только через авторизацию. 

[Rassol2]

3 часа назад, ililliliMusic сказал:

Добрый день. Подскажите, функционал парсинга с партнеров через авторизацию еще не добавлен?

В модуле уже добавлена возможность парсить с авторизацией.
Для этого достаточно авторизоваться на сайте доноре и перенести cookies с браузера в модулю.
 

Спойлер

 

[zhumasds]

извините, ошибка.

Змінено 11 листопада 2019 користувачем zhumasds

[Rassol2]

1 минуту назад, zhumasds сказал:

добрый день!

А планируется ли парсинг с сайтов, требующих авторизации?)

было бы прекрасно)

уже, даже сообщение выше про это

[zhumasds]

18 минут назад, Rassol2 сказал:

уже, даже сообщение выше про это

оттого и затёр своё сообщение, но скорость реагирования - достойна похвалы))) Спасибо!

Кстати, всё хотел спросить (быть может я и не понимаю, но проблему испытываю).

Вопрос: как модуль работает в случае повторяющихся границ (точнее, их экспорта в csv).

Ситуация: мне надо спарсить список категорий, допустим, я пишу в настройках 2-2 (пропускаю 2 повторения и 2 следующих беру).

Проблема: иногда их бывает не "2", а "1", то есть вместо ожидаемых мною 2-ух столбцов в csv файле, я получаю 1. При этом, следом, после категорий идёт парсинг цены.

 

Ожидание №1:

Так оно и работает, если всегда есть "2" категории.

Но бывает, что категорий не 2, а меньше, например "1".

Я ожидаю, что в прайсе будет так:

либо так:

 

Но получается вот так:

 

Проблему пока решаю переносом подобных "границ" в конец файла, но это ограничивает меня по парсингу атрибутов и фотографий, т.е. приходиться атрибуты и фото парсить с помощью АОП (а это - медленнее).

Может, этому уже есть решение?)

[Rassol2]

14 минут назад, zhumasds сказал:

Проблему пока решаю переносом подобных "границ" в конец файла, но это ограничивает меня по парсингу атрибутов и фотографий, т.е. приходиться атрибуты и фото парсить с помощью АОП (а это - медленнее).

Может, этому уже есть решение?)

Значит вы установили {csvnc} а если категорий меньше то и смешений будет меньше.
такой вопрос часто появляется.

Можете сделать вместо {csvnc} заменить на ~ и тогда у вас получится одна ячейка в которой будут записаны все категорий разделенные символом ~
Затем откроете прайс лист и через функцию в экселе разделить ячейку на много.


Таким способом можно решить вопрос.
Создав одну колонку под категории. Вторую под атрибуты. Третью под фото. А затем за 2 минуты в экселе разделить их для удобства.

[zhumasds]

Только что, Rassol2 сказал:

Значит вы установили {csvnc} а если категорий меньше то и смешений будет меньше.
такой вопрос часто появляется.

Можете сделать вместо {csvnc} заменить на ~ и тогда у вас получится одна ячейка в которой будут записаны все категорий разделенные символом ~
Затем откроете прайс лист и через функцию в экселе разделить ячейку на много.


Таким способом можно решить вопрос.
Создав одну колонку под категории. Вторую под атрибуты. Третью под фото. А затем за 2 минуты в экселе разделить их для удобства.

Спасибо! Я с экселем не дружу, оттого и такие вопросы. Еще раз спасибо!

[Alexcctv]

В 10.11.2019 в 16:30, Rassol2 сказал:

мне не ясна логика таких действий

Но модуль умеет такое.

  Показать контент

Что это будет.
Модуль парсит ссылку получает данные и создает товар. В таком случаи он просто не проверяет есть такой товар или нет. Он будет создавать постоянно новые товары.
В независимости от того есть такой товар уже или нет.

Обратите внимание. Использование в такой настройке не имеет смысла, потому что вы можете создать кучу дублей товара.
 

Извините за беспокойство в очередной раз, вот заметил у категории есть хлебная крошка
https://krossovki-stock.ru/index.php?route=product/category&path=70_71_175
а в товаре нету, каким то образом можно парсинг вести именно с категории и чтобы придавалась категория родительская ну мвроде как альтернативный парсинг, но настроить под сбор товаров короче кашка какашка в голове у меня с этим сайтом)

[Rassol2]

2 минуты назад, Alexcctv сказал:

Извините за беспокойство в очередной раз, вот заметил у категории есть хлебная крошка
https://krossovki-stock.ru/index.php?route=product/category&path=70_71_175
а в товаре нету, каким то образом можно парсинг вести именно с категории и чтобы придавалась категория родительская ну мвроде как альтернативный парсинг, но настроить под сбор товаров короче кашка какашка в голове у меня с этим сайтом)

Я не представляю как это сделать.
У вас есть ссылка на товар в которой нету категорий.
Модуль парсит эту ссылку и берет все с нее. Но модуль не может знать что где то там в отдаленных уголках сайта есть страница на которой есть этот товар, и у той страницы есть категории.
 

Можете пойти другим путем, парсить пачками. Собрали ссылки на товар одной категории.
Затем парсити их.
В настройках парсинга в им сами вручную указываете категорию в которую сложить этот товар.

это можно сделать двумя сопосабами.
1. Вариант, если у вас в магазине нету категории

Спойлер

2. и второй более банальный если категория уже есть.

Спойлер

Выберите одну категорию из существующих. И модуль при парсинге все товары сложит туда.

И так по очереди все нужные вам категории, периодически менять куда сложить товар.

[Rassol2]

3 часа назад, zhumasds сказал:

Спасибо! Я с экселем не дружу, оттого и такие вопросы. Еще раз спасибо!

не за что. Рад был помочь.

[geepis]

Туман ! Чем дальше в лес ..... Нормальная инструкция будет по этому модулю . Я смотрю многие с легкостью разобрались в нем , по ходу программисты . Я себе лично уже все нервы с ним убил ! у меня вообще появилось мнение что он  может только ссылки собирать . 

Тем кто планирует его покупать - если вы не программисты  с начало ознакомтесь с инструкцией перед покупкой , кучу нервов сэкономите !

Змінено 11 листопада 2019 користувачем geepis

[Rassol2]

2 минуты назад, geepis сказал:

Туман ! Чем дальше в лес ..... Нормальная инструкция будет по этому модулю

смотря что для вас нормальная ?
 

Цитата

Он вообще может кроме как ссылки собирать что то делать.

Причем очень и очень много все.
 

3 минуты назад, geepis сказал:

Тем кто планирует его покупать - если вы не программисты  с начало ознакомтесь с инструкцией перед покупкой , кучу нервов сэкономите !

Тут я с вами согласен. Всегда перед покупкой луче ознакомьтесь с инструкцией. Это не только вам сэкономит нервы но и мне как разработчику.

@geepis Если у вас есть вопросы вы их можете здесь оставить и я отвечу на них.
 

[geepis]

43 минуты назад, Rassol2 сказал:

Причем очень и очень много все.

как интересно ..... 

44 минуты назад, Rassol2 сказал:

Если у вас есть вопросы вы их можете здесь оставить и я отвечу на них.

тут даже не вопрос ,  его просто не  с чего формулировать   . Потому что информации кроме как сбора ссылок то и нет не кокой ! Остальное все для более опытных людей знакомых с кодом ! Из тех пояснений что есть насчет модуля она вся расплывчата и разбита , собирать по кускам с учетом обновления не имеет смысла ! Не ужели сложно записать -написать нормальную инструкцию от А до Я , от сбора ссылок до занесения товара в магазин , потрати час своего времени я вас очень прошу и напишите или запишите такую инструкцию , раз уж не лень вам было написать столь полезный модуль (с ваших слов) а то как видите после покупки как выяснилось он не для всех оказался полезным , или правильней сказать не нашли ему правильного применения . Ну или на крайней случай напишите в заголовке "не уверен в себе не покупай " А то комменты вроде все хорошие хочется верить что модуль соответствует , да вот только мой коммент под товаром с не понятным задвигом и низкой оценкой куда то пропал ))) да и черт с ним я за него не парюсь там реально сам не разобрался сам напутал и написал не  в тему. Вы одно скажите мне модуль можно удалить или будет нормальная инструкция для чайников ?

[Rassol2]

16 минут назад, geepis сказал:

Потому что информации кроме как сбора ссылок то и нет не кокой !

Странно.

Инструкция по настройки параметров парсинга
https://simplepars.top/index.php?page=doc#tab_pars-setting
Поиск замена

https://simplepars.top/index.php?page=doc#tab_search-replace

Вкладка парсинг в CSV

https://simplepars.top/index.php?page=doc#tab_csv-setting

Вкладка парсинг в ИМ
https://simplepars.top/index.php?page=doc#tab_pars-store

И так далее, все по ссылке инструкции.

https://simplepars.top/index.php?page=doc
Да скриншоты уже устарели потому что очень активно развивается модуль. Но все что там написано актуально.

 

21 минуту назад, geepis сказал:

Из тех пояснений что есть насчет модуля она вся расплывчата и разбита , собирать по кускам с учетом обновления не имеет смысла !

Все что сейчас приходит с обновлениями я заношу сюда.
https://simplepars.top/index.php?page=notes
В данном разделе обновляю информацию, и этот раздел заменит инструкцию. Поскольку здесь более удобно обновлять информацию.
 

24 минуты назад, geepis сказал:

Не ужели сложно записать -написать нормальную инструкцию от А до Я

На данном этапе это НЕРЕАЛЬНО!
По этому я отвечаю на все вопросы. Не реально потому что уже 3 инструкции было написано. На написание инструкции от А до Я уйдет больше месяца. А устареет она через 2-3 обновления.
Модуль сейчас находится на той стадии когда есть много вешей которые можно и нужно реализовать. Если взять модули которым по 3-5 лет они основной фуницонал что хотели реализовали и сейчас занимаются шлифованием. И инструкция есть. Потому что по их модулям новое появляется раз в год. И написать раз в год статью не сложно.

У меня же новый функционал заезжает пачками раз в неделю. Как только более мение устаканится и доступного набора функционала будет достаточно можно написать дотошную инструкцию. Записать видео от А до Я рассказав о каждой запятой.

 

30 минут назад, geepis сказал:

Вы одно скажите мне модуль можно удалить или будет нормальная инструкция для чайников ?

Да модуль можно удалять. Это не запрещено ))

Инструкция есть, ссылки выше предоставил. И да она будет изменятся и будет еше луче. Буду записывать видео.
 

[Rassol2]

35 минут назад, geepis сказал:

А то комменты вроде все хорошие хочется верить что модуль соответствует , да вот только мой коммент под товаром с не понятным задвигом и низкой оценкой куда то пропал ))) да и черт с ним я за него не парюсь там реально сам не разобрался сам напутал и написал не  в тему.

Вы написали мне в личку что хотели бы удалить свой отзыв. Но не можете. Я отправил запрос в саппорт плошадки и они удалили.
Сейчас вы можете оставить его опять.
Если вы имели ввиду о нечестности комментов. Негативные отзывы так же остаются.
 

[geepis]

Вижу что для меня данный модуль не подходит , надеюсь не чего не поломается после удаления . 

[Rassol2]

В 11.11.2019 в 19:16, geepis сказал:

Вижу что для меня данный модуль не подходит , надеюсь не чего не поломается после удаления . 

Нет не поломается.
Модуль не вносит никаких изменений в стандартный движок. По сути вы можете просто ни заходить в модуль и все.
Сможете пользоваться когда инструкция будет того уровня что вам нужно.
 

Но если честно сейчас у меня такое впечатление.
Если делать инструкцию дотошной, будете писать что все сложно непонятно.
Если делать ее как можно понятнее опускать сложные схемы, будут писать не понятно как делать то или другое.

 

Наверное прав оказался @Axelenz

В 06.11.2019 в 19:01, Axelenz сказал:

А вообще то Вы, автор, сделали модуль, который рассчитан на продвинутых пользователей (за что Вам огромная благодарность)... а хотите раздавать его в массы. Тогда Вам придётся параллельно открывать ещё и бесплатные курсы по принципам сайтостроения, html, php, регулярным выражениям...

Какова инструкция не будет, все равно что то будет не ясно, и нужно задавать вопросы.
Модуль строю по единой системе так что поняв концепцию сможете парсить и в файл и в магазин.
Так что если передумаете пишите, буду отвечать на ваши вопросы.

[geepis]

4 минуты назад, Rassol2 сказал:

Нет не поломается.

Да все норм работает , в любом случае спасибо за ответы.

[Shaer]

 

а можно еще вопрос? я купил модуль и установил. поставил на скан - и кроме бегунка результата нет.. остановил, поменял ссылку, запустил по новой - та же беда. не поверил глазам, перечитал инструкцию, посмотрел видео - все вроде правильно делаю. в чем может быть проблема? у мну ок 2,3,0,2 , версию ставил аутентичную тока бета. парсить пытался с ок 3.0 и с вордпреса

Змінено 11 листопада 2019 користувачем Shaer

[Rassol2]

28 минут назад, Shaer сказал:

а можно еще вопрос? я купил модуль и установил. поставил на скан - и кроме бегунка результата нет.. остановил, поменял ссылку, запустил по новой - та же беда. не поверил глазам, перечитал инструкцию, посмотрел видео - все вроде правильно делаю. в чем может быть проблема? у мну ок 2,3,0,2 , версию ставил аутентичную тока бета. парсить пытался с ок 3.0 и с вордпреса

Наверное потому что не нажали сохранить после того как записали стартовую ссылку.

Спойлер

В версии 2.9-6 это будет исправлено.
А то я смотрю сильно много людей забывают перед стартом нажать сохранить.