[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

  В 21.06.2021 в 14:01, yurok79 сказав:

Подскажите почему может не собирать ссылки на товары в этой категории

https://catalog.onliner.by/tires

Шаблон ссылок на товар прописано /tires/ ссылок не находит. Там товары подгружаются с задержкой, может это влияет?

Expand  

Указал стартовую ссылку, нажал старт и все начало собираться.
 

  Показати вміст

 

[wegigant]

А в программе можно вытаскивать в качестве элементы для текста парсинга часть урла или GET параметр?

например, /product?id=m2223

чтобы мы могли искать в контенте наше m2223?

Змінено 21 червня 2021 користувачем wegigant

[Rassol2]

  В 21.06.2021 в 14:36, wegigant сказав:

А в программе можно вытаскивать в качестве элементы для текста парсинга часть урла или GET параметр?

например, /product?id=m2223

чтобы мы могли искать в контенте наше m2223?

Expand  

Да можете.
В каждой странице товара есть ссылка на страницу.
Модуль всегда ее добавляет к коду страницы.
 

  Показати вміст

 Соответственно вы всегда можете получить ссылку или нужный вам элемент из ссылки.

[wegigant]

Со всплывающими окнами программа умеет работать?

Пример ссылки

  Показати вміст

https://kerama-marazzi.com.ua/ru/alkala/alkala-beliy_1/ 

С такого формата может собирать данные о товаре? забирать цену? на странице десяток цен. Сейчас сбор идёт через zennoposter с последующей обработкой, что очень неудобно. Модуль сможет такое собрать?

 

[wegigant]

  В 21.06.2021 в 14:51, Rassol2 сказав:

 Соответственно вы всегда можете получить ссылку или нужный вам элемент из ссылки.

Expand  

А как использовать элемент из ссылки, чтобы его искать далее в коде?

в Вашем примере это может быть поиск текста

id="phoneaccum

где вместо phoneaccum будет подставляться, например наш параметр GET

 

[Rassol2]

  В 21.06.2021 в 14:52, wegigant сказав:

Со всплывающими окнами программа умеет работать?

Пример ссылки

  Показати вміст

https://kerama-marazzi.com.ua/ru/alkala/alkala-beliy_1/ 

С такого формата может собирать данные о товаре? забирать цену? на странице десяток цен. Сейчас сбор идёт через zennoposter с последующей обработкой, что очень неудобно. Модуль сможет такое собрать?

 

Expand  

Все зависит от типо всплывающего окна.
Если оно есть в момент загрузки страницы в коде, то да.

А если оно подгружается динамически после событий то нет, такое не достать пока что.

[Rassol2]

  В 21.06.2021 в 14:55, wegigant сказав:

А как использовать элемент из ссылки, чтобы его искать далее в коде?

в Вашем примере это может быть поиск текста

id="phoneaccum

где вместо phoneaccum будет подставляться, например наш параметр GET

 

Expand  

Если я правильно понял вы хотите сделать границу парсинга где значение этой границы будет использоваться как текст начала или конца парсинга.
Если я правильно понял то такого нет, в модуле. Да и до этого никто ничего подобного не спрашивал, по этому могу предположить что вашу задачу можно решить как то иначе.

[wegigant]

  В 21.06.2021 в 15:01, Rassol2 сказав:

Если оно есть в момент загрузки страницы в коде, то да.

Expand  

В самом коде блок есть. 

Насколько понимаю, все товары имеют одинаковую структуру и только в конце страницы скрипт сообщает, какой из блоков (с каким ID) вывести в модальное окно. Пока не придумано мною способов, как узнать в одно считывание этот id и сразу же извлечь нужный div.

Поэтому Зенка сначала считывает страницу и находит ID, а потом считывает снова страницу и с нужным блоком считывает price и другие параметры.

Только сложно это как-то )

[Rassol2]

  В 21.06.2021 в 15:07, wegigant сказав:

В самом коде блок есть. 

Насколько понимаю, все товары имеют одинаковую структуру и только в конце страницы скрипт сообщает, какой из блоков (с каким ID) вывести в модальное окно. Пока не придумано мною способов, как узнать в одно считывание этот id и сразу же извлечь нужный div.

Поэтому Зенка сначала считывает страницу и находит ID, а потом считывает снова страницу и с нужным блоком считывает price и другие параметры.

Только сложно это как-то )

Expand  

Ну если вам нужно достать все блоки так или иначе. Тогда можете просто скормить эту ссылку менеджеру xml
он нарежет эти блоки на отдельные страницы, и вы получите ссылку на каждый блок с своими данными.

Я правда не совсем понимаю что вам нужно, но можете и такой вариант рассмотреть.

https://simplepars.top/index.php?page=note&n=35

просто у вас будет не xml а обычный html который нужно нарезать.

[wegigant]

  В 21.06.2021 в 15:03, Rassol2 сказав:

Если я правильно понял то такого нет, в модуле. Да и до этого никто ничего подобного не спрашивал

Expand  

Да, правильно поняли.

Мне кажется, штука полезная будет. Если несложно реализовывать. Подставляем в GET параметр то, что хотим найти на странице и пробуем найти. Хоть кусок кода

url?kusok_koda=price123 

и ищем price123 

Так можно самому даже урлы переделывать налету и добавлять любое количество нужных значений.

[Rassol2]

  В 21.06.2021 в 15:10, wegigant сказав:

Подставляем в GET параметр то, что хотим найти на странице и пробуем найти.

Expand  

Это не то что я написал.
Это вы и сейчас можете подставлять в гет запрос все что угодно.
как запишите ссылку с любыми параметрами так она и будет запрашиваться.
Записать можно как вручную, так и через менеджер ссылок добавлять и изменять любые параметры ссылки.

[wegigant]

  В 21.06.2021 в 15:03, Rassol2 сказав:

Если я правильно понял вы хотите сделать границу парсинга где значение этой границы будет использоваться как текст начала или конца парсинга.

Expand  

Вот то, что написали. И это было бы неплохой идеей.

Подставить какое-то "динамическое" или стороннее значение в качестве текста для начала или конца парсинга. Чтобы ориентироваться на него.

Например, на странице много блоков с одинаковыми или безымянными значениями. И только определённый блок с каким-то ID или классом, значение которых различны на страницах, является нужным блоком.

Как его найти? 

Если бы можно было из урла вытаскивать нужное значение, то это могло бы упросить поиск некоторых блоков.

Рассмотрите как идею, пожалуйста, может быть Вы добавите в модуль какие-то предопределённые константы, куда можно заносить нужные значения.

Например (грубо, но понятно),

https://bt.rozetka.com.ua/ua/delonghi-emk-4/p221479/?const1=з Нової Пошти 

Мы ищем блок, который начнётся со значения 

{const1} 

то есть, со слов "з Нової Пошти" до </li>

Таким образом, мы можем спарсить стоимость доставки конкретно этого способа доставки.

К иконке "Новой Почты" не привязаться, она используется ниже в том числе, в остальном все блоки выглядят однотипно.

 

Оперируя подобными "псевдодинамическими" параметрами можно попробовать расширить возможности парсинга.

Конечно, при условии, что те, кто будут парсить понимают как это работает и какие значения можно добавлять к URL, а какие нельзя.

[Rassol2]

  В 21.06.2021 в 17:44, wegigant сказав:

Вот то, что написали. И это было бы неплохой идеей.

Подставить какое-то "динамическое" или стороннее значение в качестве текста для начала или конца парсинга. Чтобы ориентироваться на него.

Например, на странице много блоков с одинаковыми или безымянными значениями. И только определённый блок с каким-то ID или классом, значение которых различны на страницах, является нужным блоком.

Как его найти? 

Если бы можно было из урла вытаскивать нужное значение, то это могло бы упросить поиск некоторых блоков.

Рассмотрите как идею, пожалуйста, может быть Вы добавите в модуль какие-то предопределённые константы, куда можно заносить нужные значения.

Например (грубо, но понятно),

https://bt.rozetka.com.ua/ua/delonghi-emk-4/p221479/?const1=з Нової Пошти 

Мы ищем блок, который начнётся со значения 

{const1} 

то есть, со слов "з Нової Пошти" до </li>

Таким образом, мы можем спарсить стоимость доставки конкретно этого способа доставки.

К иконке "Новой Почты" не привязаться, она используется ниже в том числе, в остальном все блоки выглядят однотипно.

 

Оперируя подобными "псевдодинамическими" параметрами можно попробовать расширить возможности парсинга.

Конечно, при условии, что те, кто будут парсить понимают как это работает и какие значения можно добавлять к URL, а какие нельзя.

Expand  

К сожалению ближайшая время такого в модуле не будет.
не будет возможности создавать границу парсинга значение которой будет участвовать в указания начала или конца другой границу парсинга.

Это технически сложно а польза стремится к нулю.
Я не встречал за свою практику ситуация где без этого никак.
Я понимаю что вы описываете что то подобное, но на практику я не видел таких сайтов.
Точнее сайтов где без этого никак.

[beknazar]

Здравствуйте, интересует ваше решение. 

 

Задача: Спарсить около 6-10 тысяч позиции с описанием и с фотографией. Так как поставщик не предоставляет фотографии, придется спарсить информацию с других сайтов. Также требуется возможность еженедельного автоматического обновления цен и остатков по прайсу от поставщика.  

 

Вопрос: Как это должно работать? В связке с SimplePars + АОП? 

 

[Reanimaster]

  В 22.06.2021 в 09:03, beknazar сказав:

Вопрос: Как это должно работать? В связке с SimplePars + АОП? 

Expand  

Должно работать так, что бы вы понимали как оно работает. А уже исходя из цели и плана подбираются инструменты.

Для парсинга Simplepars. Для обработки прайсов:

1) АОП

2) AnyCSV

3) Import/Export от DevMan

[beknazar]

  В 22.06.2021 в 09:20, Reanimaster сказав:

Должно работать так, что бы вы понимали как оно работает. А уже исходя из цели и плана подбираются инструменты.

Для парсинга Simplepars. Для обработки прайсов:

1) АОП

2) AnyCSV

3) Import/Export от DevMan

Expand  

 

Спасибо

[Vladimir56]

Что-то я начал закипать.... Не могу понять почему парсер не ставит в очередь ссылки. Парсит только первую страницу и все. Уже по разному извращался, но не получается.

Скрины лога и настроек прилагаю. Взываю о помощи

[partshez]

Уберите Глубину ссылок 4 и посмотрите результат. Соберите ссылки без фильтров Не должно быть, а потом фильтрацию проводите. Уберите Начало и Конец сбора ссылок. Это для начала я бы сделал

 

Змінено 22 червня 2021 користувачем partshez

[Vladimir56]

  В 22.06.2021 в 15:34, partshez сказав:

Уберите Глубину ссылок 4 и посмотрите результат. Соберите ссылки без фильтров Не должно быть, а потом фильтрацию проводите. Уберите Начало и Конец сбора ссылок. Это для начала я бы сделал

 

Expand  

Убирал фильтры, убирал начало и конец. Прямо сейчас убрал глубину ссылок - вывалились ссылки на корзину и категории. Но на следующие страницы не перешел.

[Vladimir56]

Создал новый проект с точно такими же фильтрами (копипастил) - работает. А в том проекте - нет. Странно

[partshez]

  В 22.06.2021 в 15:47, Vladimir56 сказав:

Создал новый проект с точно такими же фильтрами (копипастил) - работает. А в том проекте - нет. Странно

Expand  

Это пример для одной подкатегории сделал...

SPsetting-359.jsonFetching info...

[Vladimir56]

  В 22.06.2021 в 15:47, Vladimir56 сказав:

Создал новый проект с точно такими же фильтрами (копипастил) - работает. А в том проекте - нет. Странно

Expand  

Пол дня я грешил на модуль, пол дня я экспериментировал, даже написал здесь, даже partshez отвлек от дел своей траблой. А оказалось просто я не очищал список очереди сканирования 
 

[Shulz80]

Здравствуйте. Подскажите пожалуйста. Магазин парсится на двух языках. Русскоязычная версия заполняется как надо, а вот украинский язык не заполняется seo url. Ни после парсинга, ни после Обновления Сео урл через редактор товаров в парсере. 

[Rassol2]

  В 22.06.2021 в 19:50, Shulz80 сказав:

Здравствуйте. Подскажите пожалуйста. Магазин парсится на двух языках. Русскоязычная версия заполняется как надо, а вот украинский язык не заполняется seo url. Ни после парсинга, ни после Обновления Сео урл через редактор товаров в парсере. 

Expand  

Здравствуйте.
Какая у вас версия движка ?
Поддержка заполнения юрл  в своей локализации только в 3 версии движка до этого в опенкарте не было такого. И пока что нареканий не было.
Вы точно не забываете указать обновлять сео юрл при обновлении товара на новую локализацию ?

[partshez]

  В 22.06.2021 в 19:50, Shulz80 сказав:

Здравствуйте. Подскажите пожалуйста. Магазин парсится на двух языках. Русскоязычная версия заполняется как надо, а вот украинский язык не заполняется seo url. Ни после парсинга, ни после Обновления Сео урл через редактор товаров в парсере. 

Expand  

Создать дубль проекта. Установить парсинг только в украинский язык. Назначить префикс для укр  url, например, -ua. Включить Обновлять при обновлении для seo. Для остальных полей действие на выбор. Посмотреть в Предпросмотре. 

 Запустить проект на обновление.

Змінено 23 червня 2021 користувачем partshez