[Поддержка] SimplePars - Універсальний парсер для ІМ

[hapuga911]

сайт kugoo-russia.ru

[Rassol2]

Только что, hapuga911 сказал:

сайт kugoo-russia.ru

а вы можете дать более развернутый вопрос ?

[hapuga911]

 Пока не могу, максимум 100 запросов пишет, а так данные в таблицах  и предпросмотр пишет, что kugo-russia не разрешил отобразить страницу, т.к. она встроена в другой сайт

Змінено 7 квітня 2021 користувачем hapuga911

[Rassol2]

16 минут назад, hapuga911 сказал:

Пока не могу, максимум 100 запросов пишет, а так данные в таблицах  и предпросмотр пишет, что kugo-russia не разрешил отобразить страницу, т.к. она встроена в другой сайт

Если я правильно вас понял.
Что было довольно сложно.

Вот эта надпись что я выделил красным это нормально.
 

Спойлер

не все сайты разрешают просматривать себя в нутри других сайтов.
При этом вы можете нажать на кнопку что я выделил синим. И у вас в браузере откроется эта страница. Страница код которой мы видим в модуле.
И вы сможете продолжить настраивать.

На парсинг это не влияет, это просто "сахар" для удобства настройки границ.

[hapuga911]

Извиняюсь за потраченное время, сам затупил, открыл в firefox, все увидел

[Aspirinnka1]

А related товары нельзя парсить? Что-то в настройках не нашел такого

[Rassol2]

5 минут назад, Aspirinnka1 сказал:

А related товары нельзя парсить? Что-то в настройках не нашел такого

А как вы будете определять связи ?
Вы же не хотите связать товары у себя с донором.

[Aspirinnka1]

5 минут назад, Rassol2 сказал:

А как вы будете определять связи ?

Да, я тоже думал как это может быть реализовано. Я не знаю.

Витает туманная мысль делать в 2 прохода. Первым проходом создали товары, вторым проходом связали ид-ки

 

Просто мне давно, пару лет назад, парсили сайт и спарсили related товары. Не знаю как он это сделал и чем. А я сейчас сам с таким сайтом столкнулся, вот и задумался а можно ли это сделать.

Змінено 7 квітня 2021 користувачем Aspirinnka1

[Rassol2]

2 минуты назад, Aspirinnka1 сказал:

Да, я тоже думал как это может быть реализовано. Я не знаю.

Витает туманная мысль делать в 2 прохода. Первым проходом создали товары, вторым проходом связали ид-ки

 

Просто мне давно, пару лет назад, парсили сайт и спарсили related товары. Не знаю как он это сделал и чем. А я сейчас сам с таким сайтом столкнулся, вот и задумался а можно ли это сделать.

Ок, допустим, спарсили все товары без связей.
затем запускаете повторно с связями. И как вы свяжите товары которые у вас созданы с теми что у донора.
Что бы модуль глянул в карточку товара получил информацию о связях из карточки товара, и по той информации что он получит смог четко определить какой это товар у вас и построить связь.

Таких доноров единицы, если вообще есть.

[Aspirinnka1]

Не, идея была по-другому. Но надо новая граница парсинга - Related товары. Вот туда и будем парсить все ид-ки товаров которые идут вот здесь

 

 

Спойлер

 

Например, спарсили сначала все товары. вторым проходом идем к донору в карточку товара, находим наш related товары и привязыаем related to main используя уже наши ИД.

А если есть артикул, то и 2-х проходов не надо. В границу парсинга "Related товары" записываем все артикулы и привязыаем к main товара (опять-таки используя артикул). Артикулы уникальные и совпадают у нас и у донора. Как-то так...

 

[Rassol2]

2 минуты назад, Aspirinnka1 сказал:

Например, спарсили сначала все товары. вторым проходом идем к донору в карточку товара, находим наш related товары и привязыаем related to main используя уже наши ИД.

А если есть артикул, то и 2-х проходов не надо. В границу парсинга "Related товары" записываем все артикулы и привязыаем к main товара (опять-таки используя артикул). Артикулы уникальные и совпадают у нас и у донора. Как-то так...

Я думаю по названию искать соответствие товара у донора и у вас это как в ногу стрелять.
Это не будет работать.

[Aspirinnka1]

12 минут назад, Rassol2 сказал:

Я думаю по названию искать соответствие товара у донора и у вас это как в ногу стрелять.

Вы знаете, пока еще не сталкивался с дублями товаров по названию   Верю, что такое может быть и спорить не буду.

Опять-таки, почему нет? Допустим у меня на сайте сантехники нет и я собираюсь спарсить ее с донора. Значит можно искать по названию соответствие товара у донора и у меня - 100% положительный результат будет. Опять-таки, можно по артикулу же искать соответствие.

Ладно, нет и нет. Мне просто стало интересно можно ли это сделать

Змінено 7 квітня 2021 користувачем Aspirinnka1

[Rassol2]

6 минут назад, Aspirinnka1 сказал:

Вы знаете, пока еще не сталкивался с дублями товаров по названию   Верю, что такое может быть и спорить не буду.

Опять-таки, почему нет? Допустим у меня на сайте сантехники нет и я собираюсь спарсить ее с донора. Значит можно искать по названию соответствие товара у донора и у меня - 100% положительный результат будет. Опять-таки, можно по артикулу же искать соответствие.

Ладно, нет и нет. Мне просто стало интересно можно ли это сделать

По названию очень много совпадений.
Нельзя спарсить потому что связь которая есть между элементами товаров у донора, она как правило закулисная.
То есть движок донор что то колдует и выдает нам страницу и связи, но он не видеть на вязаном товаре id родителя или что то в этом роде.
По этому такая сложность.

 

[ZevZ]

Всем доброго дня.

Кто может настроить не бесплатно парсер с нестандартного сайта?

Сайт https://goo-gl.ru/zyRI0

Суть в том, что характеристики товара прописаны в списке товаров, а в карточке товара их нет.

Нужно парсить характеристики.

Так же артикул только в списке, в карточке товара его нет

 

 

Змінено 8 квітня 2021 користувачем ZevZ

[lololod3]

Доброго времени суток!
Возможно ли реализовать "headless браузер" в модуле для получения динамически подгружаемого контента?
Может быть эта технология появиться в будущих релизах?

[partshez]

4 часа назад, ZevZ сказал:

Всем доброго дня.

Кто может настроить не бесплатно парсер с нестандартного сайта?

Сайт https://goo-gl.ru/zyRI0

Суть в том, что характеристики товара прописаны в списке товаров, а в карточке товара их нет.

Нужно парсить характеристики.

Так же артикул только в списке, в карточке товара его нет

День добрый! Открываем в новой вкладке любой товар.    https://piranya-ltd.ru/market/i~451146/

Видим характеристики и всю информацию для настройки парсинга. http://prntscr.com/1179xnl  Идентификатор можно взять из url.

Цена появится после авторизации на сайте.

 

Змінено 8 квітня 2021 користувачем partshez

[Rassol2]

16 минут назад, partshez сказал:

День добрый! Открываем в новой вкладке любой товар.    https://piranya-ltd.ru/market/i~451146/

Видим характеристики и всю информацию для настройки парсинга. http://prntscr.com/1179xnl  Идентификатор можно взять из url.

Цена появится после авторизации на сайте.

 

посмотрите на реализацию этой затеи через менеджер XML представьте что страница категорий это файл xml

[ZevZ]

16 минут назад, partshez сказал:

День добрый! Открываем в новой вкладке любой товар.    https://piranya-ltd.ru/market/i~451146/

Видим характеристики и всю информацию для настройки парсинга. http://prntscr.com/1179xnl  Идентификатор можно взять из url.

Цена появится после авторизации на сайте.

 

Характеристики выше в списке товаров в категории.

[Rassol2]

1 час назад, lololod3 сказал:

Доброго времени суток!
Возможно ли реализовать "headless браузер" в модуле для получения динамически подгружаемого контента?
Может быть эта технология появиться в будущих релизах?

Нет в PHP это сложно пока.
Может в будущих. Но пока нет.

[ZevZ]

5 минут назад, Rassol2 сказал:

посмотрите на реализацию этой затеи через менеджер XML представьте что страница категорий это файл xml

Смотрите что получается.

Собираю ссылки на категории с товарами, на те, где товар списком идет с характеристиками.

Далее иду в Обработчик XML. Настраиваю -  Граница деления текста на товары...

Все прекрасно делиться на отдельные товары...

Далее, в Сбор ссылок появляются ссылки на файлы XML? вместе со ссылками на категории.... Вот, начинается путаница.

В настройках парсинга справа так же ссылки и на категории, и на XML.

Если удаляешь ссылки на категории, пропадают и XML...

Что не так делаю?

 

[ZevZ]

Кстати, xml обработчик не понимает вот такие переходы.

Текст конца парсинга нужно закончить именно этими тегами, ни в какую не хочет.

Пробовал по разному через пробел, с сохранением оригинальной разметки... ХЗ как

</span>
                                                                                        </div>
                    </div>

Змінено 8 квітня 2021 користувачем ZevZ

[ZevZ]

Такой вопрос.

На доноре две цены РРЦ и ОПТОВА.

Есть товар, у которого указаны две цены, соответственно беру ее да и все.

А есть товар, у которого РРЦ не указана, есть только оптовая, и нужно прибавить процент к этой цене и вывести.

Как?

 

Можно ли использовать в поле цена формулы? 

[Rassol2]

24 минуты назад, ZevZ сказал:

Такой вопрос.

На доноре две цены РРЦ и ОПТОВА.

Есть товар, у которого указаны две цены, соответственно беру ее да и все.

А есть товар, у которого РРЦ не указана, есть только оптовая, и нужно прибавить процент к этой цене и вывести.

Как?

 

Можно ли использовать в поле цена формулы? 

В модуле есть логические опреаторы которые помогают выбрать какую границу когда использовать.
https://simplepars.top/index.php?page=note&n=33

 

Так же вы можете делать наценку на товар.

https://simplepars.top/index.php?page=note&n=4
 

[Rassol2]

3 часа назад, ZevZ сказал:

Смотрите что получается.

Собираю ссылки на категории с товарами, на те, где товар списком идет с характеристиками.

Далее иду в Обработчик XML. Настраиваю -  Граница деления текста на товары...

Все прекрасно делиться на отдельные товары...

Далее, в Сбор ссылок появляются ссылки на файлы XML? вместе со ссылками на категории.... Вот, начинается путаница.

В настройках парсинга справа так же ссылки и на категории, и на XML.

Если удаляешь ссылки на категории, пропадают и XML...

Что не так делаю?

 

зачем что то удалять, просто занимайтесь настройкой парсинга в ИМ

[partshez]

30 минут назад, ZevZ сказал:

А есть товар, у которого РРЦ не указана, есть только оптовая, и нужно прибавить процент к этой цене и вывести.

Как?

http://prntscr.com/117eg91    http://prntscr.com/117eh1b