[Поддержка] SimplePars - Универсальный парсер для ИМ

[Vorodisa]

17 минут назад, Rassol2 сказал:

Решается это добавлением правила в поиск замену границы в которой находится ненужный перенос строки.
{br}|

то есть удалить все переносы строк.
 

Мда )))) не догадался бы просто так )) надо вики заводить со всеми ответами ))

 

Спасибо!

[Vorodisa]

11 минут назад, stas2010 сказал:

В поиск-замене всегда сразу ставлю удаление переноса строк и двойных-тройных пробелов.

 

 

 

я че то неделю использую, пока не вкурил что к чему )) хоть и поставил модуль , как только он появился, но задачи были другие все это время.

[Rassol2]

18 минут назад, Vorodisa сказал:

Мда )))) не догадался бы просто так )) надо вики заводить со всеми ответами ))

 

Спасибо!

ага и еше пару ручных элфов которые будут штамповать заметки.
А затем еше заставь их читать и поддерживать.
Возможно когда то реализую все что хочу и тогда буду сидеть и доводить до ума около модульные вопросы.
А так пока есть это
https://simplepars.top/index.php?page=notes

[lerand]

Добрый день! Столкнулся вот с таким вариантом продуктовой страницы https://fabreex.ru/catalogitem/adverta-lajt_2/

 

Как парсить такой вариант - ума не приложу.

 

Буду признателен за подсказки

[Rassol2]

3 минуты назад, lerand сказал:

Добрый день! Столкнулся вот с таким вариантом продуктовой страницы https://fabreex.ru/catalogitem/adverta-lajt_2/

 

Как парсить такой вариант - ума не приложу.

 

Буду признателен за подсказки

Полезная нагрузка у этого сайт находится здесь
 

Спойлер

ну и как видно данные тут перекодированы.
Сейчас в модуле нету средства обратной кодировки. так что пока это проблемка.

[Rassol2]

17 минут назад, lerand сказал:

Добрый день! Столкнулся вот с таким вариантом продуктовой страницы https://fabreex.ru/catalogitem/adverta-lajt_2/

 

Как парсить такой вариант - ума не приложу.

 

Буду признателен за подсказки

Так стоп тут только описание закодировано, все остальное есть.
Уточните что вы не знаете как парсить ?

[lerand]

11 минут назад, Rassol2 сказал:

Так стоп тут только описание закодировано, все остальное есть.
Уточните что вы не знаете как парсить ?

 

цены я тоже не вижу, не только описания

и характеристики "спрятаны"

[Rassol2]

3 минуты назад, lerand сказал:

 

цены я тоже не вижу, не только описания

и характеристики "спрятаны"

Да тут есть подлянка.

[lerand]

3 минуты назад, Rassol2 сказал:

Да тут есть подлянка.

 

Просто это не мне. Товарищ хотел реализовать у себя Вашим модулем. Рассматривал к покупке.

[Rassol2]

@lerand Здесь нужно придумать какой то встроенный дешифровка.
Сейчас не готов этим заниматься есть боле важные задачи. Но потом рассмотрю.

[lerand]

Только что, Rassol2 сказал:

@lerand Здесь нужно придумать какой то встроенный дешифровка.
Сейчас не готов этим заниматься есть боле важные задачи. Но потом рассмотрю.

 

Спасибо

[Rassol2]

Обновление v3.2-3_beta

 

Поздравляю милых дам с этим чудесны праздником. Знайте что мы вас любим, и вы можете бесить нас сколько вам будет угодно

 

Регулярные выражения в фильтрах сбора ссылок.
По многочисленным просьбам добавлена возможность использовать регулярные выражения в правилах сбора ссылок!
Теперь я даже не знаю что еше можно добавить в сбор ссылок что бы сделать его гибче ))
Теперь вы можете в фильтрах задать что то вроде этого.


Это будет значить что в очередь добавлять только ссылки в которых есть одна из цифр 3,4 и ссылка заканчивается на символ "a"
То же самое вы можете добавлять правила в фильтр чего не должно быть.

Короче говоря кто знаком с регулярными выражениями уже понял что теперь у них есть "Хирургический инструмент" для тонкого вырезания ссылок.
А кто еше не знаком с регулярными выражениями оставлю здесь ссылку на краткое руководство
https://regex.sorokin.engineer/ru/latest/regular_expressions.html

Исправлена ошибка выбора Кэша в кроне.

[lerand]

Спасибо за обновление! Все нужное 

[stas2010]

11 часов назад, Rassol2 сказал:

Короче говоря кто знаком с регулярными выражениями уже понял что

им повезло, а остальным - учить матчасть.

спасибо за обновки. пойдем учить матчасть

 

И всех прекрасных дам с праздником !!!

 

[Rassol2]

2 часа назад, stas2010 сказал:

им повезло, а остальным - учить матчасть.

спасибо за обновки. пойдем учить матчасть

 

И всех прекрасных дам с праздником !!!

 

Так уж вышло что нет смысла гарадить собственные технологии и завязывать все на использования собственные операторов по типу {skip} {br}
До функционала регулярок я не дотяну.
А если буду что то такое придумывать то по факту в этом тоже нужно будет разбираться.
так почему же сразу не начать разбираться в такой прекрасной штуке как регулярные выражения.
Они во истину всесильны

Отправлено с моего Pixel через Tapatalk

[sotavip]

на странице озона по 27  товаров, до не давнего времени все ссылки на товары с указанной страницы парсились, сейчас парсятся по 12 товаров и большинстве не с указанной страницы, не могу понять в чем дело, что подкинули,, не было у кого такое?, пригвоздить куки пробовал, работаю через прокси

[Rassol2]

41 минуту назад, sotavip сказал:

на странице озона по 27  товаров, до не давнего времени все ссылки на товары с указанной страницы парсились, сейчас парсятся по 12 товаров и большинстве не с указанной страницы, не могу понять в чем дело, что подкинули,, не было у кого такое?, пригвоздить куки пробовал, работаю через прокси

Здравствуйте.
Мне не совсем проблема понятна, можете расписать подробнее ?

[sotavip]

50 минут назад, Rassol2 сказал:

Здравствуйте.
Мне не совсем проблема понятна, можете расписать подробнее ?

 

на каждой странице в озон по 27,36 товаров, пример https://www.ozon.ru/category/naruchnye-chasy-muzhskie-17090/?price=3000.000%3B147100.000

с донора необходимо спарсить ссылки на товары с этой страницы, при указании этой страницы с нее парсятся только 12 ссылок на товары и многие не с этой страницы, шаблон для поиска ссылок использую /detail/id/

 

[Rassol2]

11 минут назад, sotavip сказал:

 

на каждой странице в озон по 27,36 товаров, пример https://www.ozon.ru/category/naruchnye-chasy-muzhskie-17090/?price=3000.000%3B147100.000

с донора необходимо спарсить ссылки на товары с этой страницы, при указании этой страницы с нее парсятся только 12 ссылок на товары и многие не с этой страницы, шаблон для поиска ссылок использую /detail/id/

 

В коде страницы что вы дали там нету 36 товаров.

А под ваши правила попадают все ссылки на товар. Даже рекламный
 

Спойлер

По этому у вас есть ссылки на товар из других категорий.

[sotavip]

27 штук, 9 рядов по 3 штуки, остальные не парсят, что может быть

[Rassol2]

5 минут назад, sotavip сказал:

27 штук, 9 рядов по 3 штуки, остальные не парсят, что может быть

может быть они подгружаются через аяк запросы при прокрутке. И по этому вам кажется что там 36 товаров.
А в действительности на странице меньше ?

При прокрутке страницы вы получаете от сайта дом данные
https://www.ozon.ru/api/composer-api.bx/page/json/v2?url=%2Fcategory%2Fnaruchnye-chasy-muzhskie-17090%2F%3Flayout_container%3DcategorySearchMegapagination%26layout_page_index%3D4%26page%3D4%26price%3D3000.000%3B147100.000

То есть новые страницы. Но в коде изначально их нет.
Те остальные товары можно получить по ссылкам с указанием номера страницы в категории

[sotavip]

при переходе на след страницу этих товаров уже нет, которые были на предыдущей

и которые не спарсились

Змінено 9 березня 2020 користувачем sotavip

[Rassol2]

1 минуту назад, sotavip сказал:

при переходе на след страницу этих товаров уже нет, которые были на предыдущей

и которые не спарсились

Я в упор не вижу всех этих товаров в коде страницы.
Вот хоть убейте меня.

они подгружаются аяксом.
У меня такое впечатление что вы смотрите на код странице в браузере где у вас произошла подгрузка данных.

[sotavip]

на указанной странице https://www.ozon.ru/category/naruchnye-chasy-muzhskie-17090/?price=3000.000%3B147100.000

есть сслыки на товары в коде и визуально к примеру

detail/id/162452491/

detail/id/147364885/

но их нет в результате парсинга

Змінено 9 березня 2020 користувачем sotavip

[bodyak0]

Приветствую!!
не могу спарсить атрибуты хоть убей
https://www.svet-mir.ru/catalog/fabriki/globo/ulichnye-svetilniki/potolochnye/vstraivaemyi-v-dorogu-svetilnik-globo-style-ii-31100.html
сделал все по инструкции идет провал какой то, поля перемешиваются атрибутов.
Я тупой или парсер не может их извлечь?))