[Поддержка] SimplePars - Универсальный парсер для ИМ

[rozario888]

1 час назад, Stin сказал:

Как отсечь их, и заставить собирать ссылки на товары только в категориях? Что то я затупился.

добавить в фильтр название модуля или ссылки, которые собираются из этого модуля.

 

если фильтр не получается нормально настроить или лень, можно итоговые ссылки скопировать в эксель, двумя нажатиями удалить дубли, лишние ссылки, потом скопировать нужные обратно в модуль и сохранить

[Stin]

13 минут назад, rozario888 сказал:

добавить в фильтр название модуля или ссылки, которые собираются из этого модуля.

 

если фильтр не получается нормально настроить или лень, можно итоговые ссылки скопировать в эксель, двумя нажатиями удалить дубли, лишние ссылки, потом скопировать нужные обратно в модуль и сохранить

Вот донор, какой мне фильтр сделать, не пойму. С экселем понятно, но время обработки увеличивается, это не вариант.

[rozario888]

1 час назад, Stin сказал:

Вот донор, какой мне фильтр сделать, не пойму. С экселем понятно, но время обработки увеличивается, это не вариант.

Смотреть какие-то уникальные данные в ссылке самой карточки товара, добавлять их в фильтр. Мусор все равно будет собираться, пока его весь в фильтр не добавишь. Я так не заморачиваюсь, чтобы только чистые ссылки получились. Мне проще в экселе почистить, меньше времени занимает

[hippvik]

Доброй ночи !Подскажите, как можно спарсить вот  такое фото   https://cloud.mail.ru/public/43Kf/51g4WVE4n  .Какие границы задавать? просто поставщик дал прайс, а там фото на  товары  все с такими ссылками. Заранее спасибо!

[Rassol2]

5 минут назад, hippvik сказал:

Доброй ночи !Подскажите, как можно спарсить вот  такое фото   https://cloud.mail.ru/public/43Kf/51g4WVE4n  .Какие границы задавать? просто поставщик дал прайс, а там фото на  товары  все с такими ссылками. Заранее спасибо!

Здравствуйте.
Если взять вашу ссылку загрузить код страницы. То видно ссылку на фото
 

Спойлер

 

 

Соответственно граница парсинга для фото будет такой.
начало и конец

[Rassol2]

Я вернулся

Обустроил немного рабочие место. Так что можно считать вернулся.
Времени много не появилось потому что теперь нужно ответить всем кто писал в личку.

 

Кому не отвечу продублируйте свой вопрос.
Поскольку пока не было нормально интернета я мониторил ЛС на случай мега критичной проблемы, и у меня теперь не подсвечиваются сообщения на которые я не дал ответ.

 

Так же из за отъезда сбился немного ритм и я потерял нить развития что нужно реализовать в первую очередь, и если в следующих обновлениях я не реализую что то что обещал не стесняйтесь и напишите повторно.
Правда все хотелки пишите в Ветку модуля а не в ЛС практика опять показала что в ЛС быстро заполняются и найти нужную переписку почти нереально. А с веткой модуля гораздо проще, и тут в обсуждении могут участвовать и другие пользователи что очень важно в принятии правильного решения.

Отдельное спасибо всем кто помогал пользователя в мое отсутствие.
 

[Stin]

Народ, нужна помощь. Поставщик обновил свой сайт. Перенастраиваю парсер и столкнулся с проблемой.  Как мне спарсить категории. 

Раньше было вот так старая версия сайта. А теперь вот так. в новой версии. Кто подскажет, как выкрутиться?

[Rassol2]

44 минуты назад, Stin сказал:

Народ, нужна помощь. Поставщик обновил свой сайт. Перенастраиваю парсер и столкнулся с проблемой.  Как мне спарсить категории. 

Раньше было вот так старая версия сайта. А теперь вот так. в новой версии. Кто подскажет, как выкрутиться?

Здравствуйте.
В данном случаи поставшик не выводит информацию о категориях.
А если нет такой информации, значить нельзя ее спарсить.
То есть нельзя взять с карточки товара то чего там нету.

 

А теперь из наблюдений. Сравнив ссылки с старого сайта и нового, мы можем увидеть почему нет категорий.
Старый /index.php?route=product/product&path=17962_18055_18204&product_id=5566
Новый /index.php?route=product/product&product_id=5566

Как видите проблема не в сайте а в том откуда вы взяли ссылку. Сама ссылка не содержит категории. По этому они и не выводятся в хлебных крошках.

Такое бывает если ссылку на товар  брать из поиска.
Но если зайти в товар через выбор категории то все прекрасно покажется.

Вот ссылка не через поиск
https://th-tool.by/index.php?route=product/product&path=1319_1472&product_id=5566&limit=240
 

А вот и категории которые спокойно можно парсить.

[Stin]

Спасибо, но как тогда спарсить товар, (настроить) что бы были видны категории? Может посмотрите мои настройки? приложу их тут. 

Мне не нужно парсить весь сайт, а только несколько категорий.

 

SPsetting-1.json

Змінено 21 жовтня 2019 користувачем Stin

[Rassol2]

5 минут назад, Stin сказал:

Спасибо, но как тогда спарсить товар, (настроить) что бы были видны категории? Может посмотрите мои настройки? приложу их тут. 

Мне не нужно парсить весь сайт, а только несколько категорий.

 

SPsetting-1.json 6 \u043a\u0411 · 0 downloads

если запустить парсинг видно вот такой результат.
 

Спойлер

Из которого можно сделать вывод что на странице есть ссылки как с указанием категорий так и без.

Ну и исходя из нашей беседы. Понятно что нужно доставить ссылки на товар где есть значение path
А значит достаточно будет только добавить фильтр на получение ссылок которые содержат и продукт и пач.

Ставим галочку Или/И что значит брать ссылки которые содержат в себе все фильтры сразу. И добавляем пачь. Вот результат.


В итоге мы имеем ссылки на товар в которых указана и категория.

[Stin]

Благодарю, буду разбираться. 

[Rassol2]

3 минуты назад, Stin сказал:

Благодарю, буду разбираться. 

не за что.

рад был помочь.

[Rassol2]

Обновление 2.9-2

В данном выпуске пофиксены все известные мне недочеты.
Так же этот релиз можно считать вторым стабильным. И его рекомендую для использования на данный момент.

По сравнению с предыдущим стабильным релизом было проделано колоссальную работу.
Подробнее об всех изменениях можно прочитать в описаниях к релизам.

Спойлер

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1395934

 

Обновление 2.7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1405498

 

Обновление 2.7-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1406882

 

Обновление 2.7-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1411642

 

Обновление 2.7-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1415543

 

Обновление 2.8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1434493

 

Обновление 2.8-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1436098

 

Обновление 2.8-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437245

 

Обновление 2.8-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437664

 

Обновление 2.6-1 и 2.8-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1443365

 

Обновление 2.8-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1445633

 

Обновление 2.9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1451926

 

Обновление 2.9-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1453279

Поскольку из за моего отъезда сбились планы по разработке я озвучу новые.

Долгосрочное.
Внедрение много поточного парсинга (насколько это возможно в рамках php)

Краткосрочные
Навести немного порядок в системе создания логов.
Побороть наконец то настройки границ парсинга, сделать их на ajax что бы не было такого количества перезагрузки страницы при настройке.

при обновлении выполняйте /inst.php

[Kiyoshi]

Было бы неплохо добавить еще возможность переназначать категорий очень бы сэкономило время ненужно было бы изощрятся с поиск заменой или потом после парсинга сотни позиций раскидывать по нужным категориям.

 

p.s извиняюсь если не первый

[Rassol2]

4 минуты назад, Kiyoshi сказал:

Было бы неплохо добавить еще возможность переназначать категорий очень бы сэкономило время ненужно было бы изощрятся с поиск заменой или потом после парсинга сотни позиций раскидывать по нужным категориям.

 

p.s извиняюсь если не первый

а подробнее что подразумевается под словами переназначить ?

[stas2010]

5 часов назад, Rassol2 сказал:

а подробнее что подразумевается под словами переназначить ?

тема на самом деле довольно больная, особенно, если у донора и у вашего магазина отличается дерево категорий.

часто бывает, что они вообще не совпадают, но заранее можно каким-то признакам разложить товары по необходимым категориям.

например,

у донора Кроссовки/Женские/Зимние/размер 36

у вас Кроссовки/Зимние/Женские и пофиг на размер - всё ложится в эту категорию.

 

В АОП есть функционал по назначению категорий "Название категории в прайс-листе" -> "Название существующей категории".

 

Чего там не хватает, ну как вариант сделать здесь - добавить возможность добавить еще несколько, куда товар подходит, например, товар "Ручка шариковая сувенирная" можно положить и в "Ручки", и в "Ручки/Шариковые", и в "Сувениры", наконец, как вариант еще и в "Новинки этой недели"

 

И задать эти параметры можно заранее, изучив структуру донора. тогда и получим функционал, после которого не надо будет дополнительно добавлять категории ручками, а также перераскладывать товары по другим, хотя как показывает практика - поработать ручками всё-равно придется, но уже меньше.

 

но такая работа довольно много тоже времени занимает. как предложение - каким-либо образом сделать возможным преобразование сохраненных настроек для дальнейшего редактирования в экселе - в вэбе, конечно наглядно, но, бывают ситуации, когда в экселе или просто в редакторе заполнение настроек происходит быстрее, чем в модуле, т.к. там можно быстро и поиском/заменой воспользоваться и продублировать блоки.

 

[Rassol2]

55 минут назад, stas2010 сказал:

В АОП есть функционал по назначению категорий "Название категории в прайс-листе" -> "Название существующей категории".

Да такое есть в АОП и это тоже больное место. Поскольку в таком подходе сравнение идет по имени целевой категории.
А значит товар из категорий.
Женские->Штаны
Мужские->Штаны
Окажутся и женские и мужски штаны у вас в одной категории.

У меня же модуль отталкивается не от имени целевой категории, а от полного пути категории.
И такой подход позволяет решить множество проблем. Но как вы понимаете и сделать такую структуру такой подход тоже не позволит.

Я сделал так отталкиваясь от своего опыта. Идеального решения нет и где то нужен компромисс.
В случаи SimplePars я реализовал то решение которое постоянно использовал в парсинге, и которого мне не хватало в АОП.
Если не углубятся, в вопросе парсинга категорий механика с сопоставлением работает там где не много категорий. А где не сильно развернутая структура категорий можно обойтись и поиск замена. А где сильно развернутая структура метод с сопоставления "не работает", взял в кавычки потому что нельзя просто сказать не работает, технически все работает только есть проблемы :
1. Сложность настройки и обслуживания.
2. Проблема одинаковых имен категорий.
как правило тут луче сделать скрытую категорию в ней повторить структуру донора. И затем разнести товары по нужным вам категориям. Это просче.
 

Ну и нельзя забывать что сфера в которой работает модуль АОП больше подходит для сопоставления, в прайс листе вы заранее знаете свои категории, и можете сделать сопоставления, а в парсинге у вас есть сайт донор а точнее ссылки, и больше ничего все остальное модуль достает с сайта. И пока он не обратится к сайту вы не знаете ничего о категориях. И получается что для сопоставления нужно делать парсинг одного сайта два раза.

Модуль другой, подход другой.
 

1 час назад, stas2010 сказал:

Чего там не хватает, ну как вариант сделать здесь - добавить возможность добавить еще несколько, куда товар подходит, например, товар "Ручка шариковая сувенирная" можно положить и в "Ручки", и в "Ручки/Шариковые", и в "Сувениры", наконец, как вариант еще и в "Новинки этой недели" 

 

И задать эти параметры можно заранее, изучив структуру донора. тогда и получим функционал, после которого не надо будет дополнительно добавлять категории ручками, а также перераскладывать товары по другим, хотя как показывает практика - поработать ручками всё-равно придется, но уже меньше. 

Это можно сделать но вот пример
https://svetavto.com.ua/index.php?route=product/product&path=59&product_id=2330
Среднестатистическая страница товара.
Добавить поля под разное количество категорий я могу. Но вот откуда на этой странице взять данные для второй и третей категории ?
Можно добавить поле и назвать его добавлять товар так же в категорию и тут вы будете вручную выбирать вторую категорию.
Это можно сделать.
 

1 час назад, stas2010 сказал:

но такая работа довольно много тоже времени занимает. как предложение - каким-либо образом сделать возможным преобразование сохраненных настроек для дальнейшего редактирования в экселе - в вэбе, конечно наглядно, но, бывают ситуации, когда в экселе или просто в редакторе заполнение настроек происходит быстрее, чем в модуле, т.к. там можно быстро и поиском/заменой воспользоваться и продублировать блоки.

Это вы уже предлагаете дописать загрузчик прайс листов.
Для этого есть уже проверенные модули, к примеру тот же АОП прекрасный модуль на стероидах. Он может очень много.
Писать загрузчик прайс листов я не хочу, трудоемко и я все равно не догоню по функционалу конкурентов, я луче буду делать хороший парсер который сможете грузить товары в магазин. И если нужно составлять прайс листы который вы можете загрузить через любой удобный вам модуль.

[Axelenz]

Подскажите, в чём может быть причина.

Регулярные выражения нормально отрабатывают на вкладке "Поиск/Замена", но на вкладке "CSV/Парсинг" и в прайсе не работают... Работаю на локалке...

{reg[#\t#]}|
{reg[#(^.*\r)#]}|
{reg[#(^\n\r)#]}|

Версия модуля самая последняя.

Змінено 24 жовтня 2019 користувачем Axelenz

[Rassol2]

5 минут назад, Axelenz сказал:

Подскажите, в чём может быть причина.

Регулярные выражения нормально отрабатывают на вкладке "Поиск/Замена", но на вкладке "CSV/Парсинг" и в прайсе не работают... Работаю на локалке...

{reg[#\t#]}|
{reg[#(^.*\r)#]}|
{reg[#(^\n\r)#]}|

 

И там и там используется единая функция работы с поиск замена.
Через пару минут проверю ваши правила. И тогда отпишусь более подробно. 

[Rassol2]

@Axelenz  какой у вас проверочный текст ?

[Rassol2]

@Axelenz или скиньте мне настройки. Потому что не могу воспроизвести у себя.
Для этого мне нужно иметь ссылку и настроенную границу где нужно вырезать переносы строк табуляции.

[Axelenz]

7 минут назад, Rassol2 сказал:

@Axelenz или скиньте мне настройки. Потому что не могу воспроизвести у себя.
Для этого мне нужно иметь ссылку и настроенную границу где нужно вырезать переносы строк табуляции.

SPsetting-16.json

 

http://sportdrive.com.ua/product/3d-doska-dlya-risovaniya-holodnoe-serdce
http://sportdrive.com.ua/product/3d-doska-dlya-risovaniya-mir-dinozavrov
http://sportdrive.com.ua/product/3d-doska-dlya-risovaniya-skazochnyy-patrul
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-belka-275-detaley
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-belochka-275-detaley
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-olen-287-detaley
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-popugay-227-detal
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-slon-289-detaley
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-tukan-271-detal
http://sportdrive.com.ua/product/3d-ruchka-penobon-2-pokoleniya
http://sportdrive.com.ua/product/aerohokkey-ot-seti-220v

[Rassol2]

12 минут назад, Axelenz сказал:

SPsetting-16.json 7 \u043a\u0411 · 0 downloads

 

http://sportdrive.com.ua/product/3d-doska-dlya-risovaniya-holodnoe-serdce
http://sportdrive.com.ua/product/3d-doska-dlya-risovaniya-mir-dinozavrov
http://sportdrive.com.ua/product/3d-doska-dlya-risovaniya-skazochnyy-patrul
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-belka-275-detaley
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-belochka-275-detaley
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-olen-287-detaley
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-popugay-227-detal
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-slon-289-detaley
http://sportdrive.com.ua/product/3d-konstruktor-animal-world-tukan-271-detal
http://sportdrive.com.ua/product/3d-ruchka-penobon-2-pokoleniya
http://sportdrive.com.ua/product/aerohokkey-ot-seti-220v

Случай интересный буду разбирается.
А пока можете написать что вы хотите добиться этими регулярками ? Может я смогу предложить альтернативное решение.
 

[Axelenz]

У поставщика не выделены отдельно характеристики, а идут прицепом в описании. Поэтому приходится выдирать их хотя бы из того, что есть. Но они к тому же имеют очень не чёткие границы для парсинга, поэтому приходится указывать "арактеристик", а потом убирать первую строку, что бы там ни было накалякано... Табуляция может и не нужна, но она попалась мне при переносе данных в нотепад... думал, может и в ней дело, почему не удаляется...

 

Как правильно можно указать с помощью регулярок: удалить первую строку и последнюю ???

Змінено 24 жовтня 2019 користувачем Axelenz

[Rassol2]

26 минут назад, Axelenz сказал:

Как правильно можно указать с помощью регулярок: удалить первую строку и последнюю ???

Это и я не знаю нужно гуглить, я в регулякак постольку по скольку.

По поводу "бага" взял в кавчки не просто так.

Суть такова. Функция одна и таже используется что в первом что во втором случаи. Но вот данные приходят разные.

В случаи когда используется поиск замена получается вот что.
1. Модуль парсить границу получает код. Записывает его в поле исходный код.
2. Вы нажимаете проверить, и в этот момент модуль берет текст из поля исходный код, пост запросом отправляет на сервер.
3. На сервере модуль берет текст что пришел и обрабатывает правилами что вы указали.
4. Выводит в поле текст посл обработки.

Второй вариант с csv
1. вы жмете проверить, модуль парсит границу.
2. Модуль применяет правила к спаренному тексту.

3. Модуль выводить результат.

А теперь суть проблемы. Когда вы парсите в поиск замене текст из границы сохраняется промежуточное, и затем отправляется пост запросом.
Я предполагаю что в этот момент на уровне операционной системы расставляются управляющие операторы
\t
\n
\r
По логике ос, или веб сервера. Даже не знаю кто тут виноват.
А вот когда вы парсите в csv вы получаете полностью сырой код без вмешательства.

По этому ваше правило работает в одном месте и не сработало в другом.

Я честно говоря не знаю как вы на это наткнулись поскольку тут нужно что бы прям звезды сошлись.
Это может касается только управлявших операторов.

По поводу удавление первой и последней строки подумаю.