[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Мне нравится АОП

Автоматическая обработка прайс листов

[Rassol2]

Поздравляю всех с этим этим чудесным праздником
Я так же как и все проведу этот день в кругу семи в связи с этим поддержку модуля сегодня я не смогу предоставлять.
Прошу отнестись с пониманием, и по возможности тоже отдохнуть от работы. Насколько это возможно в сложившейся ситуации.
Всем хорошего настроения !!!

[poetiq]

Привет!

Может кому пригодиться делать заглавными первые буквы в разделе "Поиск/замена".

Правила поиск замены:

Спойлер

{reg[#^а#]}|А
{reg[#^б#]}|Б
{reg[#^в#]}|В
{reg[#^г#]}|Г
{reg[#^д#]}|Д
{reg[#^е#]}|Е
{reg[#^ё#]}|Ё
{reg[#^ж#]}|Ж
{reg[#^з#]}|3
{reg[#^и#]}|И
{reg[#^й#]}|Й
{reg[#^к#]}|К
{reg[#^л#]}|Л
{reg[#^м#]}|М
{reg[#^н#]}|Н
{reg[#^о#]}|О
{reg[#^п#]}|П
{reg[#^р#]}|Р
{reg[#^с#]}|С
{reg[#^т#]}|Т
{reg[#^у#]}|У
{reg[#^ф#]}|Ф
{reg[#^х#]}|X
{reg[#^ц#]}|Ц
{reg[#^ч#]}|Ч
{reg[#^ш#]}|Ш
{reg[#^щ#]}|Щ
{reg[#^ъ#]}|Ъ
{reg[#^ы#]}|Ы
{reg[#^ь#]}|Ь
{reg[#^э#]}|Э
{reg[#^ю#]}|Ю
{reg[#^я#]}|Я

 

 

[RuslanLight]

2 минуты назад, poetiq сказал:

Привет!

Может кому пригодиться делать заглавными первые буквы в разделе "Поиск/замена".

Правила поиск замены:

  Скрыть контент

{reg[#^а#]}|А
{reg[#^б#]}|Б
{reg[#^в#]}|В
{reg[#^г#]}|Г
{reg[#^д#]}|Д
{reg[#^е#]}|Е
{reg[#^ё#]}|Ё
{reg[#^ж#]}|Ж
{reg[#^3#]}|3
{reg[#^и#]}|И
{reg[#^й#]}|Й
{reg[#^к#]}|К
{reg[#^л#]}|Л
{reg[#^м#]}|М
{reg[#^н#]}|Н
{reg[#^о#]}|О
{reg[#^п#]}|П
{reg[#^р#]}|Р
{reg[#^с#]}|С
{reg[#^т#]}|Т
{reg[#^у#]}|У
{reg[#^ф#]}|ф
{reg[#^x#]}|X
{reg[#^ц#]}|Ц
{reg[#^ч#]}|Ч
{reg[#^ш#]}|Ш
{reg[#^щ#]}|Щ
{reg[#^ъ#]}|Ъ
{reg[#^ы#]}|Ы
{reg[#^ь#]}|Ь
{reg[#^э#]}|Э
{reg[#^ю#]}|Ю
{reg[#^я#]}|Я

 

 

и что реально работает?

[poetiq]

8 минут назад, RuslanLight сказал:

и что реально работает?

Да

[urchik]

Подскажите кто как реализовал.

Донор удалил товар с сайта, больше не продает, около 200 шт. В логах ошибка 404, не найдена страница.

Как теперь найти у меня на сайте этот товар и удалить. В логах только страница донора, ни id, ни модели нет. 

[Kiyoshi]

7 минут назад, urchik сказал:

Подскажите кто как реализовал.

Донор удалил товар с сайта, больше не продает, около 200 шт. В логах ошибка 404, не найдена страница.

Как теперь найти у меня на сайте этот товар и удалить. В логах только страница донора, ни id, ни модели нет. 

Если логи чистились до сообщения 404 то найти будет практически нереально. Но если нет то можно скачать их и просмотреть всю историю так как в модуле показывается не всего журнала работы а только его части (при соответствующих настройках разумеется)

[urchik]

22 минуты назад, Kiyoshi сказал:

Если логи чистились до сообщения 404 то найти будет практически нереально. Но если нет то можно скачать их и просмотреть всю историю так как в модуле показывается не всего журнала работы а только его части (при соответствующих настройках разумеется)

Не понял.

Логи есть за последний парсинг, я вижу 404, вижу ссылку донора. Но их 200 штук из 15000. По ссылке не понять что за товар, этого товара у донора уже нет. Хочу их удалить теперь и у себя, но как не знаю.

[Kiyoshi]

34 минуты назад, urchik сказал:

Не понял.

Логи работы модуля до записываются и вы можете видеть все за последний парсинг Так вот если вы их не удаляли перед очередным парсинго то можете скачать их и найти те товары которые требуется удалить.

 

Змінено 1 травня 2020 користувачем Kiyoshi

[Kiyoshi]

30 минут назад, urchik сказал:

Логи есть за последний парсинг, я вижу 404, вижу ссылку донора. Но их 200 штук из 15000. По ссылке не понять что за товар, этого товара у донора уже нет. Хочу их удалить теперь и у себя, но как не знаю.

Как вариант можете при помощи парсера выключить все товары а те что будут активные можно будет удалить.

Змінено 1 травня 2020 користувачем Kiyoshi

[poetiq]

1 час назад, urchik сказал:

Подскажите кто как реализовал.

Донор удалил товар с сайта, больше не продает, около 200 шт. В логах ошибка 404, не найдена страница.

Как теперь найти у меня на сайте этот товар и удалить. В логах только страница донора, ни id, ни модели нет. 

Попробуйте выгрузить БД и вручную удалить

[urchik]

41 минуту назад, Kiyoshi сказал:

Логи работы модуля до записываются и вы можете видеть все за последний парсинг Так вот если вы их не удаляли перед очередным парсинго то можете скачать их и найти те товары которые требуется удалить.

Логи удалял, есть только за последний парсинг, по нему нет информации на товар, кроме ссылки донора

 

40 минут назад, Kiyoshi сказал:

Как вариант можете при помощи парсера выключить все товары а те что будут активные можно будет удалить.

Это не вариант, выключить все товары, это почти весь магазин, и ждать пол дня когда он заново все спарсить.

 

35 минут назад, poetiq сказал:

Попробуйте выгрузить БД и вручную удалить

А как в БД узнать какие товары мне удалить?

[partshez]

25 минут назад, urchik сказал:

Это не вариант, выключить все товары, это почти весь магазин, и ждать пол дня когда он заново все спарсить.

Попробуйте так. Открываем проект.  Редактор товаров. Только этот проект. Товары, которые не обновились сегодня - удалить. 

Читайте Обновление 3.4_beta. Страница 114

Змінено 1 травня 2020 користувачем partshez

[urchik]

14 минут назад, partshez сказал:

Попробуйте так.

Пробовал. Дело в том что у меня проект большой, и парсится он только по ночам и весь проект за 2 ночи примерно парситься. 

И когда в редакторе выбираешь не обновились сегодня, то он показывает вчерашние товары, т.е. половину.

Думаю может сделать парсинг по времени больше, чтоб за раз весь проект прогнать, но как узнать сколько времени задать, он же по кругу парсит с кроном.

Или запустить без крона попробовать.

 

Вот если бы в редакторе еще можно было видеть ссылку донора к товару.

[urchik]

Вообщем попробую так, у меня у всех товаров кол-во 0, сделаю парсинг с количеством =1, те товары в которых не обновиться кол-во, тех значит нету у донора.

 

[Rassol2]

13 часов назад, urchik сказал:

Пробовал. Дело в том что у меня проект большой, и парсится он только по ночам и весь проект за 2 ночи примерно парситься. 

И когда в редакторе выбираешь не обновились сегодня, то он показывает вчерашние товары, т.е. половину.

Эх.
 

Спойлер

И вчерашние можно узнать и сегодняшние. Если вам единолразово все решается через редактор товара.
Указываете список интересующих дат через символ | и он делает выборку по всем датам.
 

13 часов назад, urchik сказал:

Думаю может сделать парсинг по времени больше, чтоб за раз весь проект прогнать, но как узнать сколько времени задать, он же по кругу парсит с кроном.

Или запустить без крона попробовать.

Не парсит он по кругу.
Есть ограничения по времени есть там ауты. Он будет парсить только стоко сколько вы укажите. В то же время вы сами можете указать парсить по кругу без остановки.
Но если вам это не нужно вы же не будете специально так делать.

[Rassol2]

13 часов назад, urchik сказал:

Вот если бы в редакторе еще можно было видеть ссылку донора к товару.

Записывайте ссылку в любое поле в товаре.
 

Спойлер

и в ваших товарах будут хранится ссылки на товар донора если вам это нужно.
А в редакторе вы можете фильтровать по этим полям
 

Спойлер

 

[urchik]

2 часа назад, Rassol2 сказал:

Не парсит он по кругу.

Ну может я что то не так настроил, но парсит он по кругу. Например у меня на эту ночь осталось 5000 ссылок спарсить, он их парсит и начинает заново все ссылки парсить.

 

2 часа назад, Rassol2 сказал:

Записывайте ссылку в любое поле в товаре.

а вот это вариант, надо попробовать

[Rassol2]

26 минут назад, RomanBohutskyi сказал:

Есть такое что если в несколько ссылок есть названия товара и если одинаковое то парсить только один урл а другие игнорировать?

нет такого нету.

По факту это получаются разные товары. и парсить их нужно как разные. За артикул возмите ссылку на товар захешируйте и тогда получится один товар на одну ссылку.
Это должно решить ваш вопрос. Просто парсить как отдельные товары.

[Rassol2]

12 минут назад, RomanBohutskyi сказал:

Хорошее бы было решение если есть "+" для добавления условия: Если граница имеет название категории на доноре "LED" то добавлять в категорию "Освещение Led", потом на + нажимаем и еще условие - Если на доноре категория "Трансформаторы для LED" то спарсить товары на сайте в категорию "Трансформаторы LED" и т.д. Неограниченное количество условий для категорий.

Это чтобы не создавать отдельные проекты как категории а чтобы было в одном проекте.

10 минут назад, RomanBohutskyi сказал:

Еще один вопрос. Если у меня категории созданы с первого проекта и уже на втором доноре другие названия категорий но одного типа. Вопрос - как в одном проекте заносить товары в существующие категории если названия не совпадают категорий донора с категориями на сайте?

Как отдельные проекты парсера с названиями категорий?

Сопоставлять через поиск замену.

 

11 минут назад, RomanBohutskyi сказал:

Если выбираю не создавать категории а только привязать товар то нет выбора к которой категории привязать - http://prntscr.com/s9lcky

Вот к этой
 

Спойлер

 

13 минут назад, RomanBohutskyi сказал:

Хорошее бы было решение если есть "+" для добавления условия: Если граница имеет название категории на доноре "LED" то добавлять в категорию "Освещение Led", потом на + нажимаем и еще условие - Если на доноре категория "Трансформаторы для LED" то спарсить товары на сайте в категорию "Трансформаторы LED" и т.д. Неограниченное количество условий для категорий.

Это чтобы не создавать отдельные проекты как категории а чтобы было в одном проекте.

скорее это можно будет решить через редактор товара так будет проще.
Когда выйдет версия модуля с функцией переноса категорий я опишу.
 

[farshmac]

Спойлер

Привет всем. Есть товар, который нужно спарсить, и у него опции не как опции а как ссылки на другие супутствующие товары ну или скажем идентичный товар только цвет другой или другой размер - http://prntscr.com/s9l3sl

При выборе опции меняется урл товара а название у них одно и то же.

Вопрос как сделать обьединение этих товаров в один и добавить цвета и размер опциями?

Еще как вариант можно спарсить как отдельные товары но название товара будет одинаковое, но можно к названию добавить название цвета и/или размер

Если сделать товар с опциями то у нас будет дубли товаров так как эти ссылки на другие цвета попадут в очередь парсера и тогда так же спарсится товар с опциями.

Есть такое что если в несколько ссылок есть названия товара и если одинаковое то парсить только один урл а другие игнорировать? Но как быть с картинками в разных цветах?

Вот товар, который нужно спарсить - https://probicyclegroup.com/bmx/748-525-bmx-kench-cro-mo.html#/1-color-chernyj/66-wheelsize-20/91-framesize-bmx_205

Насколько я понимаю, там в коде есть либо повторяющиеся ссылки, либо ссылки на картинки, либо названия опции должно присутствовать. 

Парсите одно из 3х и меняете на удобный вам вариант с помощью поиска/замены. В приложение разобрал опцию цвет и выделил, к чему можно привязаться.

 

 

Спойлер

 

Змінено 2 травня 2020 користувачем farshmac

[Rassol2]

4 минуты назад, RomanBohutskyi сказал:

Хорошо а как быть с одинаковым названием? Добавить как писал - цвет и размер рамы?

Да добавьте это не проблема.
 

5 минут назад, RomanBohutskyi сказал:

Хорошо бы было если мог парсер и такие товары парсить как несколько ссылок товара как группы и делать с них один товар с опциями.

Можете пасрить как разные товары, затем через сторонний модуль  объединить их как опции в одном товаре.
то есть повторить реализацию как у донора.

[Rassol2]

@RomanBohutskyi представим что у вас 10т ссылок в проекте.
Идут они вот так.

1) https://probicyclegroup.com/bmx/748-528-bmx-kench-cro-mo.html#/43-color-sinij/66-wheelsize-20/91-framesize-bmx_205

2) https://probicyclegroup.com/bmx/748-527-bmx-kench-cro-mo.html#/24-color-fioletovyj/66-wheelsize-20/91-framesize-bmx_205

......

9999) https://probicyclegroup.com/bmx/748-531-bmx-kench-cro-mo.html#/24-color-fioletovyj/65-framesize-bmx_2075/66-wheelsize-20

1000) https://probicyclegroup.com/bmx/748-530-bmx-kench-cro-mo.html#/12-color-zheltyj/65-framesize-bmx_2075/66-wheelsize-20

И вот как написать функционал который спарсит разные ссылки определит что это одного типа товар и обьеденит их.
Я сейчас ничего не говорю даже о принцепи определения. Только о факте того что ссылки могут идти далеко не подряд.

А между тем как модуль спарсит первую и последнюю ссылку пройдет вечность. И как то это объединить почти нереально.

 

 

[Rassol2]

3 минуты назад, RomanBohutskyi сказал:

В разных категориях одинаковый признак по урл и одинаковые хлебные крошки - либо Главная-Домашняя либо Велосипеды.

Как парсера научить различить к какой категории относится товар? либо к МТВ либо к Подростковые

идеального решения нет. Парсим то что есть у донора. Если признака нету то и спарсить не можем.
Для этого развиваю инструмент редактор товара.
Да и не стоит забывать не всегда все можно сделать под ключ и ручной труд не исключается.

[Rassol2]

2 минуты назад, RomanBohutskyi сказал:

Можно так - Добавить функцию "Групировка ссылок в товар" при парсинге в ИМ. При парсинге заголовка товаров, если в товарах одинаковый заголовок, как в доноре сейчас - http://prntscr.com/s9lulx

а ссылки разные, то такие ссылки поместить в группу, в массив и назвать эту группу названием заголовка. Эту группу или массив обьеденить в один товар. Общий признак не ссылка а заголовок http://prntscr.com/s9lulx

И тогда есть ссылки простые без группы и есть группы ссылок и тогда он обрабатывает простые ссылки а если есть группа то обрабатывает группу в один товар.

Звучит то как.

А теперь вернемся к варианту с 10к ссылок. То есть для того что бы объединить ссылки в группу парсер должен по сканировать все 10к
Звучит мягко говоря не рационально.