[Поддержка] SimplePars - Універсальний парсер для ІМ

[Mixxxa163]

...так а что будет - то ?) все поняли кроме меня походу..

[Rassol2]

Только что, Mixxxa163 сказал:

...так а что будет - то ?) все поняли кроме меня походу..

Сегодня прочтете в обновлении.

[LevikV]

Здравствуйте. Подскажите пожалуйста, возможно ли как то получать уведомление или настроить лог, если в базу будут добавляться новые позиции из сайта-донора? Т.е. у нас есть сайт-донор, мы его спарсили, а через неделю в сайт-донор добавились новые позиции, модуль автоматически загрузит и добавит эти позиции в магазин, но мне важно чтобы была возможность отслеживать добавление этих новых позиций в магазин.

[Flint2000]

1 хвилину назад, LevikV сказав:

Подскажите пожалуйста, возможно ли как то получать уведомление или настроить лог, если в базу будут добавляться новые позиции из сайта-донора?

Так есть же логирование, что вам мешает проанализировать фал лога на наличие новинок

[LevikV]

т.е. это придется вручную каждый раз его просматривать? Настроить его хотя бы как то можно, чтобы логировалось только добавление новых позиций, если других способов решения задачи нет?

[Rassol2]

21 минуту назад, LevikV сказал:

т.е. это придется вручную каждый раз его просматривать? Настроить его хотя бы как то можно, чтобы логировалось только добавление новых позиций, если других способов решения задачи нет?

Можно так.
 

Спойлер

 

[Flint2000]

del

[Rassol2]

1 минуту назад, Flint2000 сказал:

Да, просмотривать вручную. Можно написать скрипт, которй будет разбирать файл лога и тянуть нужную инфу. Но зачем?

А можно в редакторе товаров, фильтрами отобрать информацию по добавлению товара любым проектом.

[Rassol2]

Обновление v4.4-2_beta

Настройки парсинга.
Закрыл все пожелания по настройкам границ париснга.
Теперь эта страница выглядит так.

 

Копировать границы в один клик.

Теперь рядом с кнопкой "удалить границу парсинга" появилась кнопочка позволяющая в один клик скопировать границу.
При нажатии модуль создаст дубль этой границы парсинга с новым порядковым id, для тех кто страдал при настройке множества одинаковых границы.

Я вас помню 

 

Условные операторы в границах парсинга.
Теперь вы можете указывать в тексте начала и конца парсинга не только код из страницы но и условные операторы.
Доступны следующие операторы.
{skip} - Пропустить любые символы пока не встретишь совпадение с текстом написаны после оператора {skip}
{.*} - Пропустить любые символы пока не встретишь совпадение с текстом написаны после оператора {.*} Жадный режим!!!
{.} - Один любой символ кроме переноса строки.
{br} - Перенос строки.

Внимание!!!
Хоть модуль поддерживает все четыре оператора, я бы рекомендовал сбегать использование {.*} и {br} если вы не прожженный программист.
Потому что, не все что вы видите это перенос строки. Так же как и понимание жадного режима довольно сложна, пользователям (почему то )

 

Разница между операторами {skip} и {.*}

Спойлер

 

Разница между операторами {skip} и {.*} не столь очевидна, и в поиск замене это не особо создавала проблемы, но вот в настройках границы это может заводить в заблуждение.

Объяснение.

Работа оператора {skip}

 

И правило <tr><td>{skip}</td><td>|

 

Исходный текст
<tr><td>Код товара:</td><td>003690</td></tr><tr><td>Производитель:</td><td>LED SOLUTION</td></tr></tbody>

 

Цветом я выделил тот текст что вы хотите вырезать, при этом оранжевым выделил границы парсинга.
А красным то что захватит оператор {skip} и вот результат работы этого оператора.

Спойлер

Всё логично, все так как вы ожидали. Оператор {skip} вырезал покрашенные части, и оставил все остальное. Поскольку оператор {skip} не жадный.
Давайте заменим {skip} на жадный аналог {.*}

 

Работа оператора {.*}

 

Правило <tr><td>{.*}</td><td>|

 

Исходный текст
<tr><td>Код товара:</td><td>003690</td></tr><tr><td>Производитель:</td><td>LED SOLUTION</td></tr></tbody>

Обратите внимание что в этом случаи, оператор {.*} не остановился на первых попавшихся </td><td> а он просмотрел всю строку и выделил все доп последнего совпавшего тега </td><td> По тому что он ЖАДНЫЙ!!!
Вот результат работы.
 

Спойлер

 

 

 

Вывод.
Не используйте оператор {.*} если вы до конца не поняли как он работает, поскольку если вы напишите что то подобное. {.*}</div> то только сам отец основатель знает сколько дивов на странице которую вы обрабатываете, и как далеко зайдет оператор. А предсказать какой кусок попадет в границу парсинга, не сможет никто.
И я крайне не хочу слышать вопросы в стиле:
Границы парсинга не работают я ввел .....{.*}...... Модуль ничего не находит.
Вот честно не хочу всем объяснять почему и как работает, так что если вы используете этот оператор, и не понимаете результат, просто не используйте его.
Сейчас все можно настроить и без новой функции, вот прям любой вариант можно сделать, а я добавил эти функции только потому что просят. Людям влом подумать как сделать то что им нужно без операторов, я их понимаю, лень двигатель прогресса.

 

Но я буду злостно относится к тем кто собирается использовать высокие технологии при этом не желая прикладывать хоть малейшие усилия в изучении этих технологий.
При том что туже самую цель можно добиться при помощи обычных границ. (то есть палки капалки)
Функционал теперь на любого пользователя.

Импорт / Экспорт  Настроек.
Так как модуль теперь работает с авторизацией, люди начинают покупать прокси, я решил сделать больше безопасности.
Теперь при экспорте настроек модуль не экспортирует данные о прокси, и настрйки авторизации.
Это сделано по той причине что большенство пользователей незадумываясь делятся настройками, при этом они могут забыть что в настройках указаны данные для авторизации на каком нибудь сайте. А на том сайте еще не дай бог будет денежка на балансе.

Теперь если вы хотите экспортировать настройки со всеми данными в том числе и прокси и настройки авторизации, вам нужно экспортировать выбрав вот этот пункт.
 

Спойлер

Конец.
Да начнутся голодные игры !!!

[yurok79]

Здравствуйте, подскажите реализуемо ли такое? Например парсятся товары и некоторые ссылки не проходят доступ. Возможно ли при повторном парсинге или обновлении исключить эти ссылки из списка, чтобы лишний раз не долбить донора.

Змінено 28 квітня 2021 користувачем yurok79

[Rassol2]

12 минут назад, yurok79 сказал:

Здравствуйте, подскажите реализуемо ли такое? Например парсятся товары и некоторые ссылки не проходят доступ. Возможно ли при повторном парсинге или обновлении исключить эти ссылки из списка, чтобы лишний раз не долбить донора.

Если  ссылки были обработаны с ошибкой, они помечаются.
И отдельно просмотреть их можно в менеджере ссылок, либо сразу выбрать этот список.
Так же в менеджере вы можете занести все ссылки в списко, после парсинга кто то будет с ошибками.
Зайти в не держер отобрать все ссылки этого списка, и только те что с ошибкой. и исклюить из списка.

[yurok79]

У меня стоит допуск по sku Я хочу отфильтровать таким образом ссылки на категории. В менеджере такие ссылки как ошибочные не отображаются. Можно как то их отделить?

Вот ссылки, это все категории. Они не ошибочные, и получают успешный запрос, но не найден SKU. Отделить их на этапе сбора не получается.

https://prnt.sc/127kro5

 

[Rassol2]

1 минуту назад, yurok79 сказал:

У меня стоит допуск по sku Я хочу отфильтровать таким образом ссылки на категории. В менеджере такие ссылки как ошибочные не отображаются. Можно как то их отделить?

Вот ссылки, это все категории. Они не ошибочные, и получают успешный запрос, но не найден SKU. Отделить их на этапе сбора не получается.

https://prnt.sc/127kro5

 

Я понял вас, вы хотите что бы модуль спарсил странице, и если там не найден какой то текст, удалил ссылку.
нет такой возможности в модуле нет.

[yurok79]

Только что, Rassol2 сказал:

Я понял вас, вы хотите что бы модуль спарсил странице, и если там не найден какой то текст, удалил ссылку.
нет такой возможности в модуле нет.

Ясно, спасибо. Было бы полезно.

[Rassol2]

8 минут назад, yurok79 сказал:

Ясно, спасибо. Было бы полезно.

Не за что.

Возможно в будущем сделаю но пока что такого нет.

[ZevZ]

Как бы в редакторе товара отфильтровать товар, у которого название пустое?

[Rassol2]

1 минуту назад, ZevZ сказал:

Как бы в редакторе товара отфильтровать товар, у которого название пустое?

для начала опишите ваше представления пустого.
Название состоящие из одного пробела это пустое или нет ?

[ZevZ]

22 минуты назад, Rassol2 сказал:

для начала опишите ваше представления пустого.
Название состоящие из одного пробела это пустое или нет ?

Да в том то и дело, после каждого парсинга появляются товары совсем без названия. Т.е. совсем пустое, если бы пробел, другое дело

Спойлер

 

Змінено 28 квітня 2021 користувачем ZevZ

[Rassol2]

12 минут назад, ZevZ сказал:

Да в том то и дело, после каждого парсинга появляются товары совсем без названия. Т.е. совсем пустое, если бы пробел, другое дело

тогда наверное логично было бы не делать такие настройки, а тем более что с вашего текста это не первый раз.
Поправьте луче настройки.

Нужно не заводить такие товары, а не бороться с ними.

Вы писали что не читаете все подряд, что бы голову не забивать. Так вот я взываю к вам.
Откажитесь от вашего подхода, поскольку он губителен как для вас так и для меня.

Фильтрация решается настолько элементарно, что создания скриншота для вашего вопроса гораздо сложнее.
 

Спойлер

Избежать ситуации попадания таких товаров  можно, и в модуле все это предусмотрено.
Вот ту найдете всю необходимую информацию.
https://simplepars.top/index.php?page=note&n=31

[ZevZ]

11 минут назад, Rassol2 сказал:

тогда наверное логично было бы не делать такие настройки, а тем более что с вашего текста это не первый раз.
Поправьте луче настройки.

Нужно не заводить такие товары, а не бороться с ними.

Вы писали что не читаете все подряд, что бы голову не забивать. Так вот я взываю к вам.
Откажитесь от вашего подхода, поскольку он губителен как для вас так и для меня.

Фильтрация решается настолько элементарно, что создания скриншота для вашего вопроса гораздо сложнее.
 

  Скрыть контент

Избежать ситуации попадания таких товаров  можно, и в модуле все это предусмотрено.
Вот ту найдете всю необходимую информацию.
https://simplepars.top/index.php?page=note&n=31

Настроил все правильно. Не знаю почему это происходит. Анализировал конкретно эти товары, почему так получается, хз, либо верстка у донора чем то отличается на некоторых страницах, либо сбой при парсинге. Таких товар 50 шт на 30К, минимум, но они периодически появляются, просто отключаю и добавляю в фильтр, по другому бороться не получилось.

[Rassol2]

1 минуту назад, ZevZ сказал:

Настроил все правильно. Не знаю почему это происходит. Анализировал конкретно эти товары, почему так получается, хз, либо верстка у донора чем то отличается на некоторых страницах, либо сбой при парсинге. Таких товар 50 шт на 30К, минимум, но они периодически появляются, просто отключаю и добавляю в фильтр, по другому бороться не получилось.

по ссылке сверху что я дал, инструкция которая поможет решить эту боль, и  много других.
Анализируя создания товаров с пустым именем вы можете начать с логов, там пишется id товара, смотрите какой ссылкой он создан, смотрите какой ответ был от донора.
если 200 тогда идете в пред просмотр с этой ссылкой загружаете и смотрите.

Ничего не происходит просто так.
Но если лень, то допуски к обработке вам в помощь.

https://simplepars.top/index.php?page=note&n=31

[Rassol2]

@ZevZ На всякий случай опишу.
Указываете загружать страницы только в том случаи если граница парсинга с именем товара НЕ пустая.
И все, модуль не допустит создание товара без имени.

[Rassol2]

8 часов назад, Malciska сказал:

Как раз вчера попробовал это применить и подумал почемуэтого тут нету

очень полезная штука будет

Сегодня уже есть

[ZevZ]

41 минуту назад, Rassol2 сказал:

@ZevZ На всякий случай опишу.
Указываете загружать страницы только в том случаи если граница парсинга с именем товара НЕ пустая.
И все, модуль не допустит создание товара без имени.

Так вроде?

gran9 - это граница названия

Спойлер

 

[Cynosure]

Добрый вечер, подскажите, установи модуль по инструкции, обновил файлы из папки версии пфп 7.2.

 

При запуске сбора ссылок, просто желтая полоса. С чем это может быть связано?