[Поддержка] SimplePars - Универсальный парсер для ИМ

[Amarok424]

спасибо

[Rassol2]

1 минуту назад, Amarok424 сказал:

спасибо

не за что.
 

[Malciska]

Ребята, видел что возможно в поиске-замене использовать повторяющийся кусок кода и в нем чего нибудь менять а в середине кода сохранять.

Подскажите пожалуйста на моем примере какое должно быть правило - условие, а дальше я уже разберусь.

 

Поиск замена. Имеется:

<div class="ProductPage">
   <div class="col-9">
        Profiles
   </div>
   <div class="col-3">
        24
   </div>
</div>

Нужен конечный результат:

</tr>

   <th>
        Profiles
   </th>
   <th>
        24
   </th>
</tr>

[Rassol2]

4 минуты назад, Malciska сказал:

Ребята, видел что возможно в поиске-замене использовать повторяющийся кусок кода и в нем чего нибудь менять а в середине кода сохранять.

Подскажите пожалуйста на моем примере какое должно быть правило - условие, а дальше я уже разберусь.

 

Поиск замена. Имеется:

<div class="ProductPage">
   <div class="col-9">
        Profiles
   </div>
   <div class="col-3">
        24
   </div>
</div>

Нужен конечный результат:

</tr>

   <th>
        Profiles
   </th>
   <th>
        24
   </th>
</tr>

Я то легко покажу вам вариант, но тот кусок который вы дали на вход говорит о том что будет более сложный блок, а в этом случаи нужно будет и правило более сложное.
 

[Rassol2]

@Malciska Вот вам вариант.
 

Спойлер

Это так по быстрому.

Вот само правило.
{skip}class="col-9">{skip}</div>{skip}<div class="col-3">{skip}</div>{.*}|</tr>{br}<th>$2</th>{br}<th>$4</th>{br}</tr>

[zahar831]

Здравствуйте. вот в модуле https://prntscr.com/11pchxt, а вод исходный код страницы в браузере https://prntscr.com/11pcj95.

это так и должно быть, что тексты разные? я так понимаю, что с этого сайта также не спарсить. т.к. JS?

https://www.imperiatechno.ru/Elektricheskie_poverhnosti/weissgauff/Weissgauff_HI_32.html это страница для примера.

[Malciska]

6 минут назад, Rassol2 сказал:

@Malciska Вот вам вариант.
 

  Показать контент

Это так по быстрому.

Вот само правило.
{skip}class="col-9">{skip}</div>{skip}<div class="col-3">{skip}</div>{.*}|</tr>{br}<th>$2</th>{br}<th>$4</th>{br}</tr>

😂👌👏  дамнн.... Спасибо, буду воевать 🤦‍♂️🤷‍♂️

Было бы класс если бы в инструкции хоть чуток было обьяснение этого .. Для чайников (как я) 

Я об использовании всяких $2 и т.д.

[Rassol2]

10 минут назад, Malciska сказал:

Было бы класс если бы в инструкции хоть чуток было обьяснение этого .. Для чайников (как я) 

Я об использовании всяких $2 и т.д.

Это умышлено упущено, так как это нужно 0.00001% а если описать в инструкции все просто буду видеть и уходить думая что все мего сложно.

 

 

Все что попадает в правиле сюда {skip} или сюда {.*}
Запоминается, и это можно использовать в правой части правила.

запомнить тот кусок который находится за skip а потом вставить в текст запомненый кусок.
Ну и все они по очереди запоминаются с лева на право. Что бы вызвать ставите знак доллара, и порядковый номер.

[Rassol2]

18 минут назад, zahar831 сказал:

Здравствуйте. вот в модуле https://prntscr.com/11pchxt, а вод исходный код страницы в браузере https://prntscr.com/11pcj95.

это так и должно быть, что тексты разные? я так понимаю, что с этого сайта также не спарсить. т.к. JS?

https://www.imperiatechno.ru/Elektricheskie_poverhnosti/weissgauff/Weissgauff_HI_32.html это страница для примера.

Да в данном случаи они шифруют через JS содержимое страницы, а распаковывает его браузер.
Пока что такое не решить.

[Malciska]

1 час назад, Rassol2 сказал:

Это умышлено упущено, так как это нужно 0.00001% а если описать в инструкции все просто буду видеть и уходить думая что все мего сложно.

 

 

Все что попадает в правиле сюда {skip} или сюда {.*}
Запоминается, и это можно использовать в правой части правила.

запомнить тот кусок который находится за skip а потом вставить в текст запомненый кусок.
Ну и все они по очереди запоминаются с лева на право. Что бы вызвать ставите знак доллара, и порядковый номер.

 

 Автор Вы Всемогущий ! Разобрался, класс!

большая просьба: Вкиньте это объяснение пожалуйста в инструкцию simplepars.top 

 

[Rassol2]

1 минуту назад, Malciska сказал:

Автор Вы Всемогущий ! Разобрался, класс!

большая просьба: Вкиньте это объяснение пожалуйста в инструкцию simplepars.top 

Да вкину все.
Как только будет время выдохнуть.

Сейчас нужно записать новую инструкцию по авторизации. И выкатить обновление оно уже на подходе.
 

Спойлер

Уже научил модуль самому заходит на сайт и авторизоваться, и так же следить что бы в момент парсинга авторизация не слетала, а если слетит самостоятельно заходить и авторизоваться.

Думаю будет бомба.

[yurok79]

Подскажите как поступить. Настраиваю парсинг с допуском по названию производителя, каждого производителя с новой строки https://prnt.sc/11ph7i2 но в логах вижу что проверяется только первые 2. Возможно я неправильно прописал и производителей нужно перечислить в одну строку через какой-то разделитель? 

 

Подскажите как правильно.

[Rassol2]

1 минуту назад, yurok79 сказал:

Подскажите как поступить. Настраиваю парсинг с допуском по названию производителя, каждого производителя с новой строки https://prnt.sc/11ph7i2 но в логах вижу что проверяется только первые 2. Возможно я неправильно прописал и производителей нужно перечислить в одну строку через какой-то разделитель? 

 

Подскажите как правильно.

вы точно делаете не правильно.
Вот у вас первое правило гласит разрешить грузить товар если граница парсинга равна IEK
А если не равна значит не грузить.
Тогда зачем все остальные правила ?
 

Спойлер

Тут довольно логично все.
первое правило либо отбросит страницу.
Либо пропустит, но если оно пропустит страницу то второе точно отбросит.

Потому что одна и таже граница не может иметь два разных имени одновременно.

[yurok79]

2 минуты назад, Rassol2 сказал:

вы точно делаете не правильно.
Вот у вас первое правило гласит разрешить грузить товар если граница парсинга равна IEK
А если не равна значит не грузить.
Тогда зачем все остальные правила ?
 

  Скрыть контент

Тут довольно логично все.
первое правило либо отбросит страницу.
Либо пропустит, но если оно пропустит страницу то второе точно отбросит.

Потому что одна и таже граница не может иметь два разных имени одновременно.

Так а как реализовать подобное? Может можно прописать все условия в одну строку через or?

Змінено 19 квітня 2021 користувачем yurok79

[Rassol2]

Только что, yurok79 сказал:

Так а как реализовать подобное?

Так хочется спросить а как бы вы поступили в этой ситуации.
Но уже сильно хочу спать по этому пишу решения.

А вообще ВЗЫВАЮ люди, иногда, даже если вы не пьете кофе, нужно заварить чашечку кофе сесть и просто подумать. Часов 80 к примеру.
А на 81 час вы используете поиском по форуму и этот вопрос уже обсуждался.

Создаете границу парсинга, и там пишите правила.
IEK|1
ДКС|1
.....

и так перечисляете все нужные вам бренды.
А в допусках создаете всего одно правило.

Граница равна 1 или нет.

Если попадется производитель которого вы не перечислили то правило поиск замены не заменит его на цифру 1 а значит проверка допуска не найдет там цифру один и в итоге такая страница не будет допущена.

[yurok79]

1 минуту назад, Rassol2 сказал:

Так хочется спросить а как бы вы поступили в этой ситуации.
Но уже сильно хочу спать по этому пишу решения.

А вообще ВЗЫВАЮ люди, иногда, даже если вы не пьете кофе, нужно заварить чашечку кофе сесть и просто подумать. Часов 80 к примеру.
А на 81 час вы используете поиском по форуму и этот вопрос уже обсуждался.

Создаете границу парсинга, и там пишите правила.
IEK|1
ДКС|1
.....

и так перечисляете все нужные вам бренды.
А в допусках создаете всего одно правило.

Граница равна 1 или нет.

Если попадется производитель которого вы не перечислили то правило поиск замены не заменит его на цифру 1 а значит проверка допуска не найдет там цифру один и в итоге такая страница не будет допущена.

Все гениальное просто))) спасибо Вам.

[Rassol2]

Только что, yurok79 сказал:

Все гениальное просто))) спасибо Вам.

не за что.
Всего доброго.

[Malciska]

В 15.03.2021 в 10:07, Malciska сказал:

Предложение улучшения функционала модуля.

 

Допустим я в проекте настроил сбор ссылок на проект, ссылки собрал спарсил-обработал и сохранил ссылки в проекте.

И ставлю проект на крон раз в месяц с заданием "сборка ссылок".

 

Предложение : После крона, открываю проект и сразу видно появились ли у донора новые товары которые меня интересуют.

(допустим отображать сохраненные заранее ссылки болдом, а новые - стандартным шрифтом. Или располагать внизу под каким нибудь разделителем "новые ссылки")

А это будет в обнове?

[Rassol2]

12 часов назад, Malciska сказал:

А это будет в обнове?

Здравствуйте.
нет, этого не будет. Ну и не в ближайшие время.

[Rassol2]

Сегодня ночью будет релиз так что уже опубликую инструкцию.
https://simplepars.top/index.php?page=note&n=42
 

Здесь я описал только метод авторизации через POST на сайтах. Еше напишу сегодня авторизацию для htpasswd

Там все гораздо проще.
И на днях попробую записать видео по работе с этой функцией.

[Mixxxa163]

Здравствуйте, не могу понять почему после запуска сбора ссылок, пишет сбор ссылок завершен, но в поле Ссылки на товары не попадает ни одной ссылки?

Делаю согласно видео "SimplePars - Настройка сбора ссылок". 

Стартовая ссылка https://www.ru.endress.com/ru/Tailor-made-field-instrumentation/filtr-priborov?filter.p=5&s.category=search-product&filter.fb=true Шаблон ссылок очереди - также забил произвольный набор символов. 

Текст начала сбора class="eh-cell eh-cell--8-col eh-cell--order-2-large eh-cell--8-col-medium eh-cell--order-2-medium eh-cell--12-col-small eh-cell--order-2-small eh-cell--4-col-x-small eh-cell--order-2-x-small">

Текст конца сбора class="result_bottom increaseResult">

 

[Rassol2]

1 минуту назад, Mixxxa163 сказал:

Здравствуйте, не могу понять почему после запуска сбора ссылок, пишет сбор ссылок завершен, но в поле Ссылки на товары не попадает ни одной ссылки?

Делаю согласно видео "SimplePars - Настройка сбора ссылок". 

Стартовая ссылка https://www.ru.endress.com/ru/Tailor-made-field-instrumentation/filtr-priborov?filter.p=5&s.category=search-product&filter.fb=true Шаблон ссылок очереди - также забил произвольный набор символов. 

Текст начала сбора class="eh-cell eh-cell--8-col eh-cell--order-2-large eh-cell--8-col-medium eh-cell--order-2-medium eh-cell--12-col-small eh-cell--order-2-small eh-cell--4-col-x-small eh-cell--order-2-x-small">

Текст конца сбора class="result_bottom increaseResult">

 

А если отключит все фильтры сбор идет.
 

Спойлер

Значит вы просто указали фильтры под которые не попадают ссылки.
Внимательно изучите свои настройки и поправьте.

[mechenosecV2]

Нужно спарсить данные о товаре именно со страниц категорий вот такого вида https://prnt.sc/11rqbai

Как в колонки собрать все ссылки на товары, все названия, бренды, цены.

Пытаюсь делать это повторяющими границами. и у меня вариант или так получается 

https://prnt.sc/11rqqqc

 

Или не переносится на следующую строку, а подряд в колонках несколько ссылок, несколько артикулов идет и так далее, так

https://prnt.sc/11rqvx8

 

Есть вариант не со страниц товаров, а собирать информацию о товарах со страниц категорий? 

Это пытаюсь парсить панель с наличием товара. 

Спасибо

 

[Rassol2]

8 часов назад, mechenosecV2 сказал:

Нужно спарсить данные о товаре именно со страниц категорий вот такого вида https://prnt.sc/11rqbai

Как в колонки собрать все ссылки на товары, все названия, бренды, цены.

Пытаюсь делать это повторяющими границами. и у меня вариант или так получается 

https://prnt.sc/11rqqqc

 

Или не переносится на следующую строку, а подряд в колонках несколько ссылок, несколько артикулов идет и так далее, так

https://prnt.sc/11rqvx8

 

Есть вариант не со страниц товаров, а собирать информацию о товарах со страниц категорий? 

Это пытаюсь парсить панель с наличием товара. 

Спасибо

 

Здравствуйте.
Луче соберите страницы на категории и затем нарежте их на отдельные товары через менеджер xml
так будет проше. Просто представьте что у вас не html страница а xml и нарезайте.

https://simplepars.top/index.php?page=note&n=35

[ZevZ]

А как узнать, когда будет обновление?