[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

2 минуты назад, yurok79 сказал:

Подскажите почему может не собирать ссылки на товары в этой категории

https://catalog.onliner.by/tires

Шаблон ссылок на товар прописано /tires/ ссылок не находит. Там товары подгружаются с задержкой, может это влияет?

Указал стартовую ссылку, нажал старт и все начало собираться.
 

Спойлер

 

[wegigant]

А в программе можно вытаскивать в качестве элементы для текста парсинга часть урла или GET параметр?

например, /product?id=m2223

чтобы мы могли искать в контенте наше m2223?

Змінено 21 червня 2021 користувачем wegigant

[Rassol2]

13 минут назад, wegigant сказал:

А в программе можно вытаскивать в качестве элементы для текста парсинга часть урла или GET параметр?

например, /product?id=m2223

чтобы мы могли искать в контенте наше m2223?

Да можете.
В каждой странице товара есть ссылка на страницу.
Модуль всегда ее добавляет к коду страницы.
 

Спойлер

 Соответственно вы всегда можете получить ссылку или нужный вам элемент из ссылки.

[wegigant]

Со всплывающими окнами программа умеет работать?

Пример ссылки

Спойлер

https://kerama-marazzi.com.ua/ru/alkala/alkala-beliy_1/ 

С такого формата может собирать данные о товаре? забирать цену? на странице десяток цен. Сейчас сбор идёт через zennoposter с последующей обработкой, что очень неудобно. Модуль сможет такое собрать?

 

[wegigant]

1 минуту назад, Rassol2 сказал:

 Соответственно вы всегда можете получить ссылку или нужный вам элемент из ссылки.

А как использовать элемент из ссылки, чтобы его искать далее в коде?

в Вашем примере это может быть поиск текста

id="phoneaccum

где вместо phoneaccum будет подставляться, например наш параметр GET

 

[Rassol2]

6 минут назад, wegigant сказал:

Со всплывающими окнами программа умеет работать?

Пример ссылки

  Скрыть контент

https://kerama-marazzi.com.ua/ru/alkala/alkala-beliy_1/ 

С такого формата может собирать данные о товаре? забирать цену? на странице десяток цен. Сейчас сбор идёт через zennoposter с последующей обработкой, что очень неудобно. Модуль сможет такое собрать?

 

Все зависит от типо всплывающего окна.
Если оно есть в момент загрузки страницы в коде, то да.

А если оно подгружается динамически после событий то нет, такое не достать пока что.

[Rassol2]

6 минут назад, wegigant сказал:

А как использовать элемент из ссылки, чтобы его искать далее в коде?

в Вашем примере это может быть поиск текста

id="phoneaccum

где вместо phoneaccum будет подставляться, например наш параметр GET

 

Если я правильно понял вы хотите сделать границу парсинга где значение этой границы будет использоваться как текст начала или конца парсинга.
Если я правильно понял то такого нет, в модуле. Да и до этого никто ничего подобного не спрашивал, по этому могу предположить что вашу задачу можно решить как то иначе.

[wegigant]

2 минуты назад, Rassol2 сказал:

Если оно есть в момент загрузки страницы в коде, то да.

В самом коде блок есть. 

Насколько понимаю, все товары имеют одинаковую структуру и только в конце страницы скрипт сообщает, какой из блоков (с каким ID) вывести в модальное окно. Пока не придумано мною способов, как узнать в одно считывание этот id и сразу же извлечь нужный div.

Поэтому Зенка сначала считывает страницу и находит ID, а потом считывает снова страницу и с нужным блоком считывает price и другие параметры.

Только сложно это как-то )

[Rassol2]

1 минуту назад, wegigant сказал:

В самом коде блок есть. 

Насколько понимаю, все товары имеют одинаковую структуру и только в конце страницы скрипт сообщает, какой из блоков (с каким ID) вывести в модальное окно. Пока не придумано мною способов, как узнать в одно считывание этот id и сразу же извлечь нужный div.

Поэтому Зенка сначала считывает страницу и находит ID, а потом считывает снова страницу и с нужным блоком считывает price и другие параметры.

Только сложно это как-то )

Ну если вам нужно достать все блоки так или иначе. Тогда можете просто скормить эту ссылку менеджеру xml
он нарежет эти блоки на отдельные страницы, и вы получите ссылку на каждый блок с своими данными.

Я правда не совсем понимаю что вам нужно, но можете и такой вариант рассмотреть.

https://simplepars.top/index.php?page=note&n=35

просто у вас будет не xml а обычный html который нужно нарезать.

[wegigant]

5 минут назад, Rassol2 сказал:

Если я правильно понял то такого нет, в модуле. Да и до этого никто ничего подобного не спрашивал

Да, правильно поняли.

Мне кажется, штука полезная будет. Если несложно реализовывать. Подставляем в GET параметр то, что хотим найти на странице и пробуем найти. Хоть кусок кода

url?kusok_koda=price123 

и ищем price123 

Так можно самому даже урлы переделывать налету и добавлять любое количество нужных значений.

[Rassol2]

5 минут назад, wegigant сказал:

Подставляем в GET параметр то, что хотим найти на странице и пробуем найти.

Это не то что я написал.
Это вы и сейчас можете подставлять в гет запрос все что угодно.
как запишите ссылку с любыми параметрами так она и будет запрашиваться.
Записать можно как вручную, так и через менеджер ссылок добавлять и изменять любые параметры ссылки.

[wegigant]

2 часа назад, Rassol2 сказал:

Если я правильно понял вы хотите сделать границу парсинга где значение этой границы будет использоваться как текст начала или конца парсинга.

Вот то, что написали. И это было бы неплохой идеей.

Подставить какое-то "динамическое" или стороннее значение в качестве текста для начала или конца парсинга. Чтобы ориентироваться на него.

Например, на странице много блоков с одинаковыми или безымянными значениями. И только определённый блок с каким-то ID или классом, значение которых различны на страницах, является нужным блоком.

Как его найти? 

Если бы можно было из урла вытаскивать нужное значение, то это могло бы упросить поиск некоторых блоков.

Рассмотрите как идею, пожалуйста, может быть Вы добавите в модуль какие-то предопределённые константы, куда можно заносить нужные значения.

Например (грубо, но понятно),

https://bt.rozetka.com.ua/ua/delonghi-emk-4/p221479/?const1=з Нової Пошти 

Мы ищем блок, который начнётся со значения 

{const1} 

то есть, со слов "з Нової Пошти" до </li>

Таким образом, мы можем спарсить стоимость доставки конкретно этого способа доставки.

К иконке "Новой Почты" не привязаться, она используется ниже в том числе, в остальном все блоки выглядят однотипно.

 

Оперируя подобными "псевдодинамическими" параметрами можно попробовать расширить возможности парсинга.

Конечно, при условии, что те, кто будут парсить понимают как это работает и какие значения можно добавлять к URL, а какие нельзя.

[Rassol2]

49 минут назад, wegigant сказал:

Вот то, что написали. И это было бы неплохой идеей.

Подставить какое-то "динамическое" или стороннее значение в качестве текста для начала или конца парсинга. Чтобы ориентироваться на него.

Например, на странице много блоков с одинаковыми или безымянными значениями. И только определённый блок с каким-то ID или классом, значение которых различны на страницах, является нужным блоком.

Как его найти? 

Если бы можно было из урла вытаскивать нужное значение, то это могло бы упросить поиск некоторых блоков.

Рассмотрите как идею, пожалуйста, может быть Вы добавите в модуль какие-то предопределённые константы, куда можно заносить нужные значения.

Например (грубо, но понятно),

https://bt.rozetka.com.ua/ua/delonghi-emk-4/p221479/?const1=з Нової Пошти 

Мы ищем блок, который начнётся со значения 

{const1} 

то есть, со слов "з Нової Пошти" до </li>

Таким образом, мы можем спарсить стоимость доставки конкретно этого способа доставки.

К иконке "Новой Почты" не привязаться, она используется ниже в том числе, в остальном все блоки выглядят однотипно.

 

Оперируя подобными "псевдодинамическими" параметрами можно попробовать расширить возможности парсинга.

Конечно, при условии, что те, кто будут парсить понимают как это работает и какие значения можно добавлять к URL, а какие нельзя.

К сожалению ближайшая время такого в модуле не будет.
не будет возможности создавать границу парсинга значение которой будет участвовать в указания начала или конца другой границу парсинга.

Это технически сложно а польза стремится к нулю.
Я не встречал за свою практику ситуация где без этого никак.
Я понимаю что вы описываете что то подобное, но на практику я не видел таких сайтов.
Точнее сайтов где без этого никак.

[beknazar]

Здравствуйте, интересует ваше решение. 

 

Задача: Спарсить около 6-10 тысяч позиции с описанием и с фотографией. Так как поставщик не предоставляет фотографии, придется спарсить информацию с других сайтов. Также требуется возможность еженедельного автоматического обновления цен и остатков по прайсу от поставщика.  

 

Вопрос: Как это должно работать? В связке с SimplePars + АОП? 

 

[Reanimaster]

15 минут назад, beknazar сказал:

Вопрос: Как это должно работать? В связке с SimplePars + АОП? 

Должно работать так, что бы вы понимали как оно работает. А уже исходя из цели и плана подбираются инструменты.

Для парсинга Simplepars. Для обработки прайсов:

1) АОП

2) AnyCSV

3) Import/Export от DevMan

[beknazar]

2 часа назад, Reanimaster сказал:

Должно работать так, что бы вы понимали как оно работает. А уже исходя из цели и плана подбираются инструменты.

Для парсинга Simplepars. Для обработки прайсов:

1) АОП

2) AnyCSV

3) Import/Export от DevMan

 

Спасибо

[Vladimir56]

Что-то я начал закипать.... Не могу понять почему парсер не ставит в очередь ссылки. Парсит только первую страницу и все. Уже по разному извращался, но не получается.

Скрины лога и настроек прилагаю. Взываю о помощи

[partshez]

Уберите Глубину ссылок 4 и посмотрите результат. Соберите ссылки без фильтров Не должно быть, а потом фильтрацию проводите. Уберите Начало и Конец сбора ссылок. Это для начала я бы сделал

 

Змінено 22 червня 2021 користувачем partshez

[Vladimir56]

6 минут назад, partshez сказал:

Уберите Глубину ссылок 4 и посмотрите результат. Соберите ссылки без фильтров Не должно быть, а потом фильтрацию проводите. Уберите Начало и Конец сбора ссылок. Это для начала я бы сделал

 

Убирал фильтры, убирал начало и конец. Прямо сейчас убрал глубину ссылок - вывалились ссылки на корзину и категории. Но на следующие страницы не перешел.

[Vladimir56]

Создал новый проект с точно такими же фильтрами (копипастил) - работает. А в том проекте - нет. Странно

[partshez]

7 минут назад, Vladimir56 сказал:

Создал новый проект с точно такими же фильтрами (копипастил) - работает. А в том проекте - нет. Странно

Это пример для одной подкатегории сделал...

SPsetting-359.json

[Vladimir56]

9 минут назад, Vladimir56 сказал:

Создал новый проект с точно такими же фильтрами (копипастил) - работает. А в том проекте - нет. Странно

Пол дня я грешил на модуль, пол дня я экспериментировал, даже написал здесь, даже partshez отвлек от дел своей траблой. А оказалось просто я не очищал список очереди сканирования 
 

[Shulz80]

Здравствуйте. Подскажите пожалуйста. Магазин парсится на двух языках. Русскоязычная версия заполняется как надо, а вот украинский язык не заполняется seo url. Ни после парсинга, ни после Обновления Сео урл через редактор товаров в парсере. 

[Rassol2]

Только что, Shulz80 сказал:

Здравствуйте. Подскажите пожалуйста. Магазин парсится на двух языках. Русскоязычная версия заполняется как надо, а вот украинский язык не заполняется seo url. Ни после парсинга, ни после Обновления Сео урл через редактор товаров в парсере. 

Здравствуйте.
Какая у вас версия движка ?
Поддержка заполнения юрл  в своей локализации только в 3 версии движка до этого в опенкарте не было такого. И пока что нареканий не было.
Вы точно не забываете указать обновлять сео юрл при обновлении товара на новую локализацию ?

[partshez]

8 часов назад, Shulz80 сказал:

Здравствуйте. Подскажите пожалуйста. Магазин парсится на двух языках. Русскоязычная версия заполняется как надо, а вот украинский язык не заполняется seo url. Ни после парсинга, ни после Обновления Сео урл через редактор товаров в парсере. 

Создать дубль проекта. Установить парсинг только в украинский язык. Назначить префикс для укр  url, например, -ua. Включить Обновлять при обновлении для seo. Для остальных полей действие на выбор. Посмотреть в Предпросмотре. 

 Запустить проект на обновление.

Змінено 23 червня 2021 користувачем partshez