[Поддержка] SimplePars - Универсальный парсер для ИМ

[kostya242]

Если источников парсинга много, можно ли те которые были добавлены на КРОН (активирован) выделять зеленым цветом или жирным?

 

Спойлер

 

[Rassol2]

9 минут назад, kostya242 сказал:

Если источников парсинга много, можно ли те которые были добавлены на КРОН (активирован) выделять зеленым цветом или жирным?

 

  Показать контент

 

ок я подумаю об этом.

[Flint2000]

@Rassol2 Пожелание: не всегда в xml прайсе есть достаточно информации и недостающую приходится парсить опять таки с донора, было бы хорошо, чтобы добавить функцию - Парсить по ссылке с донора. Пример: в xml одно фото, а реально у товара несколько, но они только на сайте. Тоже самое бывает с описаниями и другими нужными данными. Конечно, можно через костыль это все вытянуть, но в самом модуле это было удобнее, тем более в рамках одного проекта

[Rassol2]

[mention=23826]Rassol2[/mention] Пожелание: не всегда в xml прайсе есть достаточно информации и недостающую приходится парсить опять таки с донора, было бы хорошо, чтобы добавить функцию - Парсить по ссылке с донора. Пример: в xml одно фото, а реально у товара несколько, но они только на сайте. Тоже самое бывает с описаниями и другими нужными данными. Конечно, можно через костыль это все вытянуть, но в самом модуле это было удобнее, тем более в рамках одного проекта

Это уже есть записках на будущее.
будет реализована выполнение подзапроса еда и полученная информация будет записываться в код.

Отправлено с моего Pixel через Tapatalk

[RuslanLight]

2 часа назад, Flint2000 сказал:

@Rassol2 Пожелание: не всегда в xml прайсе есть достаточно информации и недостающую приходится парсить опять таки с донора, было бы хорошо, чтобы добавить функцию - Парсить по ссылке с донора. Пример: в xml одно фото, а реально у товара несколько, но они только на сайте. Тоже самое бывает с описаниями и другими нужными данными. Конечно, можно через костыль это все вытянуть, но в самом модуле это было удобнее, тем более в рамках одного проекта

В принципе это можно реализовать просто двумя проектами. Один парсит данные с хмл, а второй со страниц донора ТОЛЬКО дотягивает картинки или иную инфу, при этом не затрагивает другие поля этого товара (типа обновляет содержание товара).

[Flint2000]

55 хвилин назад, RuslanLight сказав:

В принципе это можно реализовать просто двумя проектами.

Я уже это вчера делал, но это два проекта, два раза давать нагрузку не совсем по феншую

[Rassol2]

3 часа назад, Flint2000 сказал:

Я уже это вчера делал, но это два проекта, два раза давать нагрузку не совсем по феншую

под запросы всегда двойная нагрузка.
1. мы будем резать xml на товары.
2. В момент парсинга определенного товара модуль будет делать запрос на сайт донор по ссылке из xml и подгружать недостающую информацию.

думаю в плане нагрузки разницы нет. А вот по удобству думаю под запросы должны быть удобнее чем создание двух проектов и синхронизация их.

[ddv]

А как спарсить товары только определенных категорий? Настраиваю условия, как на скрине, но если указывать больше одного условия одной и той же границы, то тогда товары не добавляются. Если же только одно условие, то нормально. 

[Rassol2]

3 минуты назад, ddv сказал:

А как спарсить товары только определенных категорий? Настраиваю условия, как на скрине, но если указывать больше одного условия одной и той же границы, то тогда товары не добавляются. Если же только одно условие, то нормально. 

Во первых наверное стоит отбирать ссылки только на нежные категории при посике ссылок. Да бы снизить запросы на сайт донора.
Это не совсем для таки нужд было придумано.

Но если сильно хочется, можно создать отдельную границу парсинга в которой выделить категории.
Затем через поиск замену заменять заменять нужные категории на 1. А ненужные на 0
В итоге если в допуска проверяем что попало в границу 1 или 0

Вот так это можно сделать.

Но я больше за отфильтровывания на уровне ссылок чем на уровне допуска.

[ddv]

7 минут назад, Rassol2 сказал:

Во первых наверное стоит отбирать ссылки только на нежные категории при посике ссылок. Да бы снизить запросы на сайт донора.
Это не совсем для таки нужд было придумано.

Но если сильно хочется, можно создать отдельную границу парсинга в которой выделить категории.
Затем через поиск замену заменять заменять нужные категории на 1. А ненужные на 0
В итоге если в допуска проверяем что попало в границу 1 или 0

Вот так это можно сделать.

Но я больше за отфильтровывания на уровне ссылок чем на уровне допуска.

 

Первый вариант я так понял мне не подойдет, так как я парсю через обработчик xml, а там нет возможности отобрать нужные категории.

[Flint2000]

@Rassol2 Столкнулся с проблемой, как регуляркой заменить символ | на {csvnc}

UPD Нашел решение {reg[#[|]#]}|{csvnc}

Змінено 23 вересня 2020 користувачем Flint2000

[partshez]

Всем привет! 

Можно ли каким-то образом спарсить на свой сайт документы, файлы pdf? Типа, как фото парсятся в отдельную папку или фото в описании с загрузкой на наш сайт.

[Rassol2]

47 минут назад, partshez сказал:

Всем привет! 

Можно ли каким-то образом спарсить на свой сайт документы, файлы pdf? Типа, как фото парсятся в отдельную папку или фото в описании с загрузкой на наш сайт.

Здравствуйте.
На данный момент нет еше не готов этот функционал.

[partshez]

53 минуты назад, Rassol2 сказал:

Здравствуйте.
На данный момент нет еше не готов этот функционал.

Спасибо! Ждем еще один приятный функционал 

[xlix]

Здравствуйте, Интересует совместимость с темой Journal: https://www.journal-theme.com/

[Rassol2]

1 минуту назад, xlix сказал:

Здравствуйте, Интересует совместимость с темой Journal: https://www.journal-theme.com/

SimplePars совместим со всеми созданными шаблонами, и с теми что еше не создали, и даже не придумали.
Причина этому в том что модуль никак не связан с шаблонами и шаблоны и парсер обитают в разных плоскостях.

[Zetx]

у меня следующий вопрос: товар имеет опцию - размер, в которой отсутствующие размеры имеют class="disabled", тоесть такие размеры на сайте отображаются, но не активны (их нет в наличии) ... можно ли задать условие модулю, чтоб такие варианты опций он попросту пропускал, и брал только те, которые есть в наличии?

 

[Axelenz]

8 минут назад, Zetx сказал:

у меня следующий вопрос: товар имеет опцию - размер, в которой отсутствующие размеры имеют class="disabled", тоесть такие размеры на сайте отображаются, но не активны (их нет в наличии) ... можно ли задать условие модулю, чтоб такие варианты опций он попросту пропускал, и брал только те, которые есть в наличии?

 

Как минимум их можно удалить...
class="disabled">{skip}</span>|>

[Zetx]

27 минут назад, Axelenz сказал:

Как минимум их можно удалить...
class="disabled">{skip}</span>|>

тоесть это нужно указать в поиск/замена? где именно?

[Rassol2]

42 минуты назад, Zetx сказал:

у меня следующий вопрос: товар имеет опцию - размер, в которой отсутствующие размеры имеют class="disabled", тоесть такие размеры на сайте отображаются, но не активны (их нет в наличии) ... можно ли задать условие модулю, чтоб такие варианты опций он попросту пропускал, и брал только те, которые есть в наличии?

 

Или можно указать

 

Начало

" ><span>

Конец
</span>

[Trall9]

Доброго времени суток всем!
Кто-нибудь сталкивался с такой проблемой, что с сайта на котором прокрутка категории автоматически срабатывает, не получается собрать все ссылки?(собирается только как-бы первая страница)
Думал что возможно промотать страницу, взять исходный код через ctrl+U, но в этом случае опять же выводится код не всех страниц, а только как-бы первой.
Получилось только промотав, F12, и уже скопировав код, извлечь ссылки через любой сервис, потом ещё заменять ссылки, потому что обычно относительные ссылки, а не абсолютные. И хорошо, если все товары одинаково начинаются, или же пришлось бы ещё костыли искать.
Впринципе данный метод рабочий, но вдруг у кого-то был уже такой опыт и можно как-то быстрее, было бы полезно узнать
Заранее спасибо!

[Rassol2]

8 часов назад, Trall9 сказал:

Кто-нибудь сталкивался с такой проблемой, что с сайта на котором прокрутка категории автоматически срабатывает, не получается собрать все ссылки?(собирается только как-бы первая страница)

да такое может быть. Но как правило в коде есть ссылка на вторую страницу.
Посмотрите внимательнее. Если нет что то же бывает но уже реже, можно перейти к сбору ссылок через sitemap.xml

[Flint2000]

1 годину назад, Rassol2 сказав:

можно перейти к сбору ссылок через sitemap.xml

он тоже не всегда есть или есть 5 летней давности с 404 ответами по ссілкам

[Rassol2]

1 минуту назад, Flint2000 сказал:

он тоже не всегда есть или есть 5 летней давности с 404 ответами по ссілкам

мой опыт говорит об обратном он есть 80% случаев и актуален.
20% это да может отсутствовать или был не актуальным.

Но все же 80% достойны того что бы рекомендовать этот метод.

[partshez]

1 час назад, Rassol2 сказал:

мой опыт говорит об обратном он есть 80% случаев и актуален.
20% это да может отсутствовать или был не актуальным.

Но все же 80% достойны того что бы рекомендовать этот метод.

Метод достойный и нужный. Тоже сталкивался не один раз со старыми ссылками или отсутствием sitemap.xml. Приходится смотреть на дату обновления и собирать ссылки другими методами. Модуль предоставляет возможность для вариаций. А это главное для достижения цели