[Поддержка] SimplePars - Універсальний парсер для ІМ

[Reanimaster]

В 25.07.2021 в 13:14, Reanimaster сказал:

SimplePars 100 потоков + Время запроса + Ссылка на товар донора v.1.2

 

Версия 1.3. Последняя

 

• Исправил пару мелких ошибок.
• Добавил возможность обновлять товары только своего проекта. Того, к которому они привязаны, можно узнать в редакторе товаров.

Для чего это было нужно мне. Что бы не пересекался товар нескольких доноров и не плодить дубли. Вчера я описывал данный пример. 

 

Как использовать. В границах допуска появился новый пункт. Только этого проекта. Нужно выбрать этот пункт. Написать в Границе слово yes.

 

В итоге будет обновлен тот товар, который уже имеется в проекте, даже если по идентификатору есть и в иных проектах.

В логе при этом будет уведомление [Страница НЕ обработана ] : Поскольку - Пропускаем обновление. Товар не принадлежит этому проекту

 

Не знаю. Может кому пригодится.

 

После установки и обновления модификаторов открыть Каталог-Товары. Создадутся необходимые поля в базе данных.

Скрины

Спойлер

 

 

 

 

 

P.S. Здесь я описывал задачу. За исключение момента, как быть если нужно и добавлять товар и обновлять его.

 

SimplePars+Threads+Time+Link_1.3.ocmod.zip

Змінено 27 липня 2021 користувачем Reanimaster

[Reanimaster]

1 час назад, Reanimaster сказал:

Версия 1.3. Последняя

 

Просьба перекачать, кто скачивал. По ошибке положил отладочную версию

[Malciska]

Буг? 

 

Редактор товаров => фильтр

Имеем большой список товаров...

Настройка:  "Дата последнего обновления"   "                  "   "%знач%"   " 15:| 16:| 17:" => Получаем список товаров обновленных по времени с 15:00 до 17:59 час. 🤩

Настройка:  "Дата последнего обновления"   "отрицание"   "%знач%"   " 15:| 16:| 17:" => фильтр не работает и показывает абсолютно все товары 😥

 

Каким способом можно исключить из списка товары обновленные с 15:00 до 17:59 час. ?

 

[Axelenz]

17 минут назад, Malciska сказал:

Настройка:  "Дата последнего обновления"   "                  "   "%знач%"   " 15:| 16:| 17:" => Получаем список товаров обновленных по времени с 15:00 до 17:59 час. 🤩

Если следовать логике, то указать часы, отличные от указанных Вами... т.е. все, кроме 15:| 16:| 17:

[Malciska]

8 минут назад, Axelenz сказал:

Если следовать логике, то указать часы, отличные от указанных Вами... т.е. все, кроме 15:| 16:| 17:

 

Гениально сэр. Спасибо

[Axelenz]

9 часов назад, Rassol2 сказал:

В следующем обновлении попробую добавить.

Доброй ночи, уважаемый автор... из разряда хотелок.

Вроде бы и мелочь, но было бы весьма удобно для работы, особенно если много разных проектов.

На вкладке Поиск/Замена в Правила поиск замены добавить хотя бы однострочный комментарий. Т.е. поставить в начале набор символов, который скажет, что это, например, комментарий и его не обрабатывать... Это можно будет использовать и как временное отключение правила при тестировании, а так же как реальный комментарий того, что написано...

{//}

может как-то так...

[alexstekk]

Подскажите по REGEX, пожалуйста:

как можно удалить все строки, в которых нет двоеточия?

 

[Rassol2]

9 часов назад, Axelenz сказал:

Доброй ночи, уважаемый автор... из разряда хотелок.

Вроде бы и мелочь, но было бы весьма удобно для работы, особенно если много разных проектов.

На вкладке Поиск/Замена в Правила поиск замены добавить хотя бы однострочный комментарий. Т.е. поставить в начале набор символов, который скажет, что это, например, комментарий и его не обрабатывать... Это можно будет использовать и как временное отключение правила при тестировании, а так же как реальный комментарий того, что написано...

{//}

может как-то так...

Я как комментарий использую решетку в начале правило, в таком случаи правила никогда не отработает.
По сути это уже реализовано просто это реализовал не я а оно само по логике так работает.
Так что делайте вот так и все.
 

Спойлер

Такое решение никогда не подводило.

[Rassol2]

41 минуту назад, alexstekk сказал:

Подскажите по REGEX, пожалуйста:

как можно удалить все строки, в которых нет двоеточия?

 

Это наверное к @Axelenz
Я такой регулярки не знаю.

[Axelenz]

52 минуты назад, Rassol2 сказал:

Я как комментарий использую решетку в начале правило, в таком случаи правила никогда не отработает.
По сути это уже реализовано просто это реализовал не я а оно само по логике так работает.
Так что делайте вот так и все.

Вот я так и думал, что что-то подобное уже реализовано ) Выложите, пожалуйста этот в справке, как пример. Наверняка люди будут этим способом пользоваться, благодарю.

[Reanimaster]

-
 

Змінено 28 липня 2021 користувачем Reanimaster

[Reanimaster]

Подскажите пожалуйста, не планируется ли добавлять возможность выбора списка ссылок в крон?
Спасибо.

[Rassol2]

Подскажите пожалуйста, не планируется ли добавлять возможность выбора списка ссылок в крон?
Спасибо.

Да планирую.
Но не ближайшее время.

Отправлено с телефона через Tapatalk

[Reanimaster]

5 минут назад, Rassol2 сказал:

Да планирую.
Но не ближайшее время.

 

Отлично. Спасибо.

[Reanimaster]

-

Змінено 28 липня 2021 користувачем Reanimaster

[Rassol2]

2 минуты назад, Reanimaster сказал:

Список UserAgents, поисковых систем и SEO анализаторов, которые помогли мне спарсить сложный сайт. Что удивительно даже прокси не помогали. Поведение было циклические 301 редиректы на туже страницу. Возможно кому то помогут.

Пока не разберетесь в вопросе не пишите такие советы людям.
Ну или заведите тему отдельную.

Для вас лично, нету прямой связи между юсер агентом, прокси, и редиректами. Прямой зависимости нет.

[Reanimaster]

-

Змінено 28 липня 2021 користувачем Reanimaster

[Rassol2]

3 минуты назад, Reanimaster сказал:

 

Я прошу вас попробовать спарсить этот сайт.

Я его 10 дней грыз. И мне помогла только смена юзерагентов. Донор не блочит за парсинг, он подсовывает редирект.

Я сам так делаю, когда защиту от парсинга настраиваю, правда разные коды отдаю.

Я понимаю связь между юзерагентами и прокси. Но есть редирект настоящий, а есть искусственный.

https://militarist.ua/

 

А в целом - я вас услышал. Спасибо за комментарий.

Демо сайт
Чистый проект.
 

Спойлер

Проект test id проекта 1882
Вставил ссылку спарсил. Нет редиректа.

[Reanimaster]

-

Змінено 28 липня 2021 користувачем Reanimaster

[Reanimaster]

-
 

 

Змінено 28 липня 2021 користувачем Reanimaster

[Rassol2]

3 минуты назад, Reanimaster сказал:

1 ссылку. Я просил спарсить. Рандомно редиректы будут. Возможно не сразу, но будут.

Именно для этого я и отсеивал 301 и написал модификатор.

я вам сказал нет прямой связи между первым и вторым. Так что не нужно прилетать и давать советы которые никто не спросил так еще и не верные.
Для меня тема закрыта.

[Reanimaster]

Только что, Rassol2 сказал:

Для меня тема закрыта.

 

Ну ок.

[Reanimaster]

Больше я ничего никому рекоммендовать не буду. Как скажете.

[Rassol2]

Только что, Reanimaster сказал:

Больше я ничего никому рекоммендовать не буду. Как скажете.

буду признателен.

[Reanimaster]

4 минуты назад, Rassol2 сказал:

буду признателен.

 

Людей спросите, не эгоистична ли такая признательность. Я не домой к вам пришел. И не для вас пишу и советы даю. Вам они не нужны, а людям возможно.

Хорошего дня.

 

P.S. Можете меня блокировать если хотите. Мне плевать.

Змінено 28 липня 2021 користувачем Reanimaster