[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

1 час назад, ilyer сказал:

Подскажите есть ли возможность добавить выполнение js кода при переходе на ссылку?

В случае когда странице товара карточка товара подгружается динамически по клику на кнопку.

Можно ведь прописать  селектор кнопки и назначить ему click() при открытии страницы, и после этого парсить выведенный код. 

В хроме так делал с помощью tampermonkey. Не знаю как браузер в модуле настраивается. Такой подход бы мог много задач решить

нельзя.

В модуле нету движка обработки js по сути модуль протсо запрашивает код страницы и получает его, после чего рассматривается как просто текст.
В браузере все по другому, в браузере после получения кода браузер его обрабатывает так как в нем есть движок по работе с js.

[Rassol2]

ВНИМАНИЕ!

Сейчас работаю над разделением ссылок по спискам.
К примеру у вас есть 3000ссылок.
Вы запустили парсинг и по окончанию обнаружили что загрузилось 2500товаров а остальные 500 ссылок по разным причинам выдали ошибки.
Так вот новый функционал заключается в том что бы сделать возможным выбор повторно парсить только ссылки которые были спарсены с ошибкой и не пере запускать весь процесс с начала.

Если у вас есть идеи около этого пишите сюда буду рассматривать.

[Kiyoshi]

9 минут назад, Rassol2 сказал:

ВНИМАНИЕ!

Сейчас работаю над разделением ссылок по спискам.
К примеру у вас есть 3000ссылок.
Вы запустили парсинг и по окончанию обнаружили что загрузилось 2500товаров а остальные 500 ссылок по разным причинам выдали ошибки.
Так вот новый функционал заключается в том что бы сделать возможным выбор повторно парсить только ссылки которые были спарсены с ошибкой и не пере запускать весь процесс с начала.

Если у вас есть идеи около этого пишите сюда буду рассматривать.

Было бы неплохо добавить еще возможность парсинга тех ссылок которые еще ранние не парсились. Например запустили повторно сбор ссылок и модуль дособрал ссылки и столо их не 3000 а к примеру 4000 ссылок на товары. И хорошо бы иметь возможность запустить парсин только новых ссылок.

[Rassol2]

2 минуты назад, Kiyoshi сказал:

Было бы неплохо добавить еще возможность парсинга тех ссылок которые еще ранние не парсились. Например запустили повторно сбор ссылок и модуль дособрал ссылки и столо их не 3000 а к примеру 4000 ссылок на товары. И хорошо бы иметь возможность запустить парсин только новых ссылок.

Да норм, подумаю как решить.

[Kiyoshi]

Помимо этого хорошо если бы модуль имел возможность спарсить все ссылки с магазина а затем как то группировать их по разным списка и затем парсить по отдельности (спискам). Допустим объединить все ссылки по категориями и производить. При этому что бы в проекте были все ссылки.

Сейчас это достигается путем удаление и загрузку нового списка ссылок в проект. А это неудобно.

[Rassol2]

17 минут назад, Kiyoshi сказал:

Помимо этого хорошо если бы модуль имел возможность спарсить все ссылки с магазина а затем как то группировать их по разным списка и затем парсить по отдельности (спискам). Допустим объединить все ссылки по категориями и производить. При этому что бы в проекте были все ссылки.

Сейчас это достигается путем удаление и загрузку нового списка ссылок в проект. А это неудобно.

Да тоже идея хорошая.
Походу придется отложить релиз с делением ссылок по списками и переработать весь подход.
Изначально думал немного по другому организовать работу с списками. Но поскольку уже ввязываюсь в это дело действительно стоит сделать раз и на века. Так что попробую реализовать это.

Наверное попутно сделаю отдельную часть модуль по работе с ссылками, что бы можно было так же просматривать все эти списки и удалять ненужные ссылки по разным признакам.
Потом создать возможность по признакам формировать эти списки. Да и вообще добавить больше прозрачности в этот процесс.

Жаль что то что я начал делать теперь придется выкинуть, но зато модуль будет еше луче

[Axelenz]

Интересно было бы иметь возможность (насколько это вообще возможно в реализации) некоторой сортировки ссылок.

- сортировка по времени добавления товара (фактически по id)

- сортировка по категориям

- сортировка по алфавиту

[Rassol2]

1 минуту назад, Axelenz сказал:

Интересно было бы иметь возможность (насколько это вообще возможно в реализации) некоторой сортировки ссылок.

- сортировка по времени добавления товара (фактически по id)

- сортировка по категориям

- сортировка по алфавиту

Смотря где. Если на странице работы с ссылками, а ее еше нет в модуле но я думаю я заменю вкладку парсинг в кеш под эти нужды.

 

3 минуты назад, Axelenz сказал:

- сортировка по времени добавления товара (фактически по id)

Если вы имеете в виду сортировку ссылок, какая будет парсится первой какая второй то тут не все так однозначно. Поскольку менять id ссылки не получится, тут только удалять все ссылки и записывать в базу обратно в нужном вам порядке. К примеру по алфавиту. Но это очень плохая затея. Я бы не хотел такое делать поскольку это гонять базу туда сюда бессмысленно.
 

5 минут назад, Axelenz сказал:

- сортировка по категориям

Сортировка по категории в плане списка, это вы скорее всего можете добавить к варианту сортировки по алфавиту. Так как это по сути одна и таже задача.
 

6 минут назад, Axelenz сказал:

- сортировка по алфавиту

То же самое что и по категории.


Если вы имеете в виду менять порядок ссылок для парсинга, то такого скорее всего не будет.
А если для просмотра на странице которую я буду создавать то возможно внедрю но уже второй волной, после того как выкачу первый вариант и им попользуются и будет понимание настолько необходимо внедрять сортировку для просмотра ссылок.

[Axelenz]

Цитата

Смотря где. Если на странице работы с ссылками, а ее еше нет в модуле но я думаю я заменю вкладку парсинг в кеш под эти нужды.

 

Можно создать отдельную вкладку, между вкладками Сбора ссылок и Настроек парсинга, где обрабатывались бы ссылки до процесса парсинга, например сортировались бы и т.п.

А если туда подбросить ещё проверку на заполнение указанных границ, например:

Показать все ссылки без данных "Цена" или без "Фото". И указывается при этом количество таких ссылок. Тогда можно найти. например, ссылки, границы которых не захватили цену, фото и пр. данные...

 

Фактически то же самое, что мы делаем вручную в Excel, но уже после того, как всё спарсили... а если это можно будет проверить до того, т.е. получить предварительные итоговые данные по парсингу, то это будет интересно...

Змінено 15 липня 2020 користувачем Axelenz

[Rassol2]

50 минут назад, Axelenz сказал:

Можно создать отдельную вкладку, между вкладками Сбора ссылок и Настроек парсинга, где обрабатывались бы ссылки до процесса парсинга, например сортировались бы и т.п.

это я и сделаю из вкладки парсинг в кеш.
 

50 минут назад, Axelenz сказал:

А если туда подбросить ещё проверку на заполнение указанных границ, например:

Показать все ссылки без данных "Цена" или без "Фото". И указывается при этом количество таких ссылок. Тогда можно найти. например, ссылки, границы которых не захватили цену, фото и пр. данные...

Это нереально, для этого нужно как минимум спарсить данные по ссылкам. Так что нет это нереально.
 

51 минуту назад, Axelenz сказал:

Фактически то же самое, что мы делаем вручную в Excel, но уже после того, как всё спарсили... а если это можно будет проверить до того, т.е. получить предварительные итоговые данные по парсингу, то это будет интересно...

Как это сделать до парсинга.

Аналогия представим что я вам скинул 100 мобильных номеров, звонить по ним нельзя. И вы должны мне написать по какому номеру отвечает женский голос а по какому мужской.
Нереально.

[stas2010]

сделать пару закладок:

1. Спарсилось

2. Не спарсилось

в них соответствующие ссылки.

для второго пункта рядом с ссылками указать код ошибки.

можно также сделать напротив ссылки кнопку "Добавить в список", а на странице самой закладки "Поместить в список для парсинга".

можно просто в закладке вывести в таком виде:

 

Не спарсилось

Добавить все ссылки (для парсинга)

Ошибка 404:

==========

ссылка 1 Добавить в список Посмотреть (открыть в новой вкладке и посмотреть страницу в броузере)

ссылка 2 Добавить в список Посмотреть

 

Ошибка 503

==========

ссылка 3 Добавить в список Посмотреть

ссылка 4 Добавить в список Посмотреть

 

и т.д.

Первую вкладку аналогично, только без разделения на ошибки.

Также можно добавить кнопку для быстрого перехода в редактор границ с подстановкой выбранной ссылки

 

В "Не спарсились" также можно добавить ссылки, которые не спарсились по условиям (для проверки этих самых условий парсинга)

Змінено 15 липня 2020 користувачем stas2010

[Rassol2]

@stas2010 я пока вижу все более гибко.
Будет реализовано в виде гибрида страницы кеш донора и редактора товаров.

Список ссылок с возможностью выбрать ссылки по определенным фильтрам, и произвести действия над ними.
это должно быть более интуитивно понятно.

[geepis]

Всем привет, переустанавливал недавно модуль. И почему то перестало парсить seo данные. Что самое интересное в "пред просмотре" все нормально отображается и информацию сайта видит, при парсенге поля не заполняются. Раньше все работало, понимаю что мой косяк, но не пойму где я его допустил. Если кто сталкивался подскажите пожалуйста.

Спойлер

 

 

 

Змінено 16 липня 2020 користувачем geepis

[Rassol2]

1 минуту назад, geepis сказал:

Всем привет, переустанавливал недавно модуль. И почему то перестало парсить seo данные. Что самое интересное в "пред просмотре" все нормально отображается и информацию сайта видит, при парсенге поля не заполняются. Раньше все работало, понимаю что мой косяк, но не пойму где я его допустил. Если кто сталкивался подскажите пожалуйста.

  Показать контент

 

 

 

 

А вы включили работу с мета данными в разделе Название товара ? 

В пред просмотре показывается все в не зависимости от того будете вы это использовать или нет. 

[geepis]

37 минут назад, Rassol2 сказал:

А вы включили работу с мета данными в разделе Название товара ? 

В пред просмотре показывается все в не зависимости от того будете вы это использовать или нет. 

Вы правы, сам бы я если честно не додумался. Спасибо большое, все заработало как часики)

[Rassol2]

Только что, geepis сказал:

Вы правы, сам бы я если честно не додумался. Спасибо большое, все заработало как часики)

не за что.

[arthurborsuk]

Здравствуйте, 

Занялся парсингом опций, указал повторяющиеся границы на доноре где брать опции, вставил в настройки парсинга в ИМ и в результате получаю все в таком виде: 

Подскажите, что сделал не так? Как научить парсер видеть и разделять опции и на основе имен создавать каждую отдельно, а не все вместе?

[Rassol2]

@arthurborsuk наверное все.
Прочтите как работать с опциями. По скриншоту непонятно что и как вы формируете.

Как работать с опциями расписано здесь - https://simplepars.top/index.php?page=note&note_id=12

[arthurborsuk]

Я читал мануал и все сделал как по нему, но все равно не получается.

Вот настройки границы например имени опции:

 

И вот настройки парсинга в ИМ:

[Rassol2]

2 минуты назад, arthurborsuk сказал:

Я читал мануал и все сделал как по нему, но все равно не получается.

Вот настройки границы например имени опции:

Имя опции не является множественным значением. И там точно не должна находится повторяющаяся граница парсинга.
 

Спойлер

 

Пожалуйста когда выкладываете большие скриншоты используйте спойлер. Это облегчает читаемость поста.
Уже тут я вижу что вы делаете не верно.

Множественным может быть и должно быть.
Значение
Цена
Размер

[arthurborsuk]

Правильно ли я тогда понимаю, что для каждой отдельной опции, нужно создать получается новую границу парсинга?
 

[Rassol2]

1 минуту назад, arthurborsuk сказал:

Правильно ли я тогда понимаю, что для каждой отдельной опции, нужно создать получается новую границу парсинга?
 

Правильно.
На каждую опцию нужно иметь свой набор данных. С значениями.
На каждую отдельно.

[bodyak0]

Добрый день, а есть возможность собирать сразу разные опции:
Размер , цвет, а то получается каждый раз перепарсивать нужно чтобы добавить новые опции))

[geepis]

17 минут назад, bodyak0 сказал:

Добрый день, а есть возможность собирать сразу разные опции:
Размер , цвет, а то получается каждый раз перепарсивать нужно чтобы добавить новые опции))

Он собирает сразу несколько опций с одного товара, допустим размер, цвет... и т.п сколько опций есть на товаре все можно собрать за один раз.

[bodyak0]

24 хвилини назад, geepis сказав:

Он собирает сразу несколько опций с одного товара, допустим размер, цвет... и т.п сколько опций есть на товаре все можно собрать за один раз.

уже увидил +)