Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

7 минут назад, stal13 сказал:

Ок, спасибо

не за что.

Уберу эту настройку в обновлении. :)

Надіслати
Поділитися на інших сайтах

Вопрос следующего характера. На сайте донора стоит показ цен только авторизированным пользователям. Есть ли возможность обойти это парсингом или парсить уже авторизирванный сайт? Спасибо! 

Надіслати
Поділитися на інших сайтах


2 минуты назад, ihos сказал:

Вопрос следующего характера. На сайте донора стоит показ цен только авторизированным пользователям. Есть ли возможность обойти это парсингом или парсить уже авторизирванный сайт? Спасибо! 

Здравствуйте.

Да такая возможность уже реализована в модуле.
Модуль работает с куками и вы можете авторизоваться на сайте доноре.
Прочитать про это можно здесь
https://simplepars.top/index.php?page=note&note_id=15

Надіслати
Поділитися на інших сайтах

Обновление 2.9-10_beta

 

Исправил все известные мне недочеты.

1. Ошибки с повторной фильтрацией ссылок.
2. Ошибки связанные с кол-во опций по умолчанию.
3. Ошибка связанная с минимальным заказом, когда можно было выставить минимальный заказ 0 :)
По факту релиз исправлений мелочей.

В отладочную информацию добавлен вывод информации с вкладки данные
 

Спойлер

k5J9mxB.png


Так же перенес доп настройки из вкладки количество в вкладку данные.
То о чем писал пользователь @stal13
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1488553
 

Теперь управления статусом полость из вкладки данные.
 

Спойлер

rMfSPd6.png


Жду ваши сообщения об ошибках. Если таковых не будет готовлю новый стабильный релиз.

  • +1 1
Надіслати
Поділитися на інших сайтах

26 минут назад, Kamynin сказал:

Подскажите, нужно спарсить товары с сайта letu.ru, но после запуска ни 1 ссылки не находит, это проблема из-за защиты сайта?

это не сайт а страшный сон.
В данном случаи луче всего с сайт мапа собрать ссылки, пари помощи альтернативного метода.
Сайт мап тут
https://www.letu.ru/siteindexRU.xml

Вот пример где есть ссылки на товар

https://www.letu.ru/productChanelSitemapRU.xml

А здесь я объяснял что такое альтернативный метод сбора ссылок. Вы точно так же сделайте только не для страницы сайта а для получения ссылок с сайт мапа.
 

Спойлер

 

правда этот донор все грузит под запросами, донор далеко не легкий.

Надіслати
Поділитися на інших сайтах

Спасибо за ответ.

И не могли бы вы подсказать, беру другой сайт, shop.rivegauche.ru настраиваю фильтры ссылок

category
makiyazh-13
dlya-litsa-2,

после запускаю сканирование, но из 200-300 ссылок, находит 30-35 и совсем не того товара

Надіслати
Поділитися на інших сайтах


1 час назад, Kamynin сказал:

Спасибо за ответ.

И не могли бы вы подсказать, беру другой сайт, shop.rivegauche.ru настраиваю фильтры ссылок

category
makiyazh-13
dlya-litsa-2,

после запускаю сканирование, но из 200-300 ссылок, находит 30-35 и совсем не того товара

скиньте настройки проекта и я проверю.
так на глаз нет смысл предполагать, потому что одна запятая или один тумблер в фильтрах может отсеет множество ссылок.

Луче скиньте экспорт настроек и я посмотрю о чем речь.

Надіслати
Поділитися на інших сайтах

18 минут назад, Rassol2 сказал:

скиньте настройки проекта и я проверю.
так на глаз нет смысл предполагать, потому что одна запятая или один тумблер в фильтрах может отсеет множество ссылок.

Луче скиньте экспорт настроек и я посмотрю о чем речь.

У меня проблема сейчас с отображением страниц. Может я конечно сильно тугой, но тяжело дается настройка. Спасибо за помощь 

Змінено користувачем Kamynin
Надіслати
Поділитися на інших сайтах


8 часов назад, Kamynin сказал:

У меня проблема сейчас с отображением страниц. Может я конечно сильно тугой, но тяжело дается настройка. Спасибо за помощь 

Судя по настройкам вам нужно только с этой категории собрать товары.
https://iledebeaute.ru/shop/hair/patch/

 

Значит вот такие настройки будут в самый раз.
SPsetting-85.json

 

а если вам нужны товары со всего магазина тогда нужно менять стартовую ссылку и убирать с фильтров
/hair/patch/
Так как эта часть заставляет модуль оставлять только ссылки этой категории.

Надіслати
Поділитися на інших сайтах

попался сайт на котором картинки размещены данными в html,

Спойлер

a83bcef7a1cdb80fd33bad2c2fdd5ecf.png

 

не могу спарсить содержимое  тега. Есть ли ограничение на буфер либо настройки неправильно (но тут все просто вроде)

Короче с этой страницы не получается  спарсить данные -  описание 

http://elsiton.ru/index.php?action=tovar&id=5589737

Змінено користувачем pgoloyad
Надіслати
Поділитися на інших сайтах


2 минуты назад, pgoloyad сказал:

попался сайт на котором картинки размещены данными в html,

  Показать контент

a83bcef7a1cdb80fd33bad2c2fdd5ecf.png

 

не могу спарсить содержимое  тега. Есть ли ограничение на буфер либо настройки неправильно (но тут все просто вроде)

Короче с этой страницы не получается  спарсить данные

http://elsiton.ru/index.php?action=tovar&id=5589737

аж интересно что курят разработчики этих сайтов.
Сейчас попробую что то придумать. :(

Надіслати
Поділитися на інших сайтах

27 минут назад, pgoloyad сказал:

попался сайт на котором картинки размещены данными в html,

  Показать контент

a83bcef7a1cdb80fd33bad2c2fdd5ecf.png

 

не могу спарсить содержимое  тега. Есть ли ограничение на буфер либо настройки неправильно (но тут все просто вроде)

Короче с этой страницы не получается  спарсить данные -  описание 

http://elsiton.ru/index.php?action=tovar&id=5589737

Они тут фотки напрямую вставляют в код сайта. Причем кодируя их.
На уровне модуля это можно порешать, но это большой обьем работы.
Если такие доноры будут часто встречается я реализую конвертацию таких фото в нормальный вид.

Но если вам прям очень очень нужно, и вы ради этого готовы немного поковырять код, тогда я здесь распишу что поменять в модуле и как настроить границу парсинга, что бы модуль сам раскодировал фото и положил в товар.

В теории нужно будет одну функцию переписать. Если готовы тогда как появится немного свободного времени я вам распишу все.

Надіслати
Поділитися на інших сайтах

@Rassol2 такие сайты встречают, но редко. Примерно 2-3 из 100. Все важные элементы пропускают через base64, что то вроде защиты от парсинга.

Надіслати
Поділитися на інших сайтах


6 минут назад, Nomandvs сказал:

@Rassol2 такие сайты встречают, но редко. Примерно 2-3 из 100. Все важные элементы пропускают через base64, что то вроде защиты от парсинга.

@Nomandvs  ну мы же тоже не просто так свой хлеб едим. :)
Можно порешать одной строкой кода.

 

Спойлер

b3hoo0l.png

 

Спойлер

F8XMvPb.png


Изначально все писалось с расчетом что фото лежит по ссылке. Хотя минут за 20 могу поменять функцию и фото будет браться раскодировать и все будет хорошо.

Проблема в том что поменяв функцию перестанут работать парсинг с обычных сайтов. А значит нужно делать переключатель.
Здесь хочу так.
А здесь иначе.

А это уже долго.
Но тоже можно.

Надіслати
Поділитися на інших сайтах

@Rassol2 может сделать обёртку в виде тегов? Обернул границу - к ней применяется эта функция, не обернул - парсит как обычно. С технической стороны не знаю как это будет просто или нет.

Надіслати
Поділитися на інших сайтах


3 минуты назад, Nomandvs сказал:

@Rassol2 может сделать обёртку в виде тегов? Обернул границу - к ней применяется эта функция, не обернул - парсит как обычно. С технической стороны не знаю как это будет просто или нет.

Примерно так и думал. В случаи если делать на постоянку.
1. Либо сделать в поиск замене выбираем границу а там переключатель.
  а. Ничего.
  б. Закодировать в base64
  с. Раскодировать base64

 

2.Просто ввести понятие {base64[{gran_1}]} Типо такого. Все что внутри раскодировать.
Но сперва нужно что бы у этого появилось востребованность. А то просто так наворачивать функционал не хочу.
 

Надіслати
Поділитися на інших сайтах

А то и так получается уже куча функционала, а его нужно поддерживать и обслуживать.
Чем сложнее система тем чаше ломается :)

Надіслати
Поділитися на інших сайтах

@Kamynin Это нормально, не все сайты разрешают открывать себя в ifram но это никак не влияет на работу парсера.
Это только запрещает открывать сайт внутри сайта.

Нажмите сюда
 

Спойлер

Abj1Bbc.png

И страница что вы просматриваете откроется в новой вкладке браузере. Там будете смотреть на нужные элементы страницы а модуле работать с кодом и границами.

Так же можете отключить пред просмотр сайта в модуле, он не нужен так как донор запрещает открывать себя в ifram. Отключив у вас увеличится блок с кодом. За то с кодом будет удобнее работать ;-)

Это нормально. :)

Надіслати
Поділитися на інших сайтах

5 часов назад, Kamynin сказал:

Не подскажите, а как настроить импорт брендов?

так же как и обычную границу парсинга.

А вообше нужно больше смысла в вопросе что бы понять что вы имеете в виду. А то так я не совсем понимаю в чем сложность у вас. :(

Надіслати
Поділитися на інших сайтах

12 часов назад, Rassol2 сказал:

так же как и обычную границу парсинга.

А вообше нужно больше смысла в вопросе что бы понять что вы имеете в виду. А то так я не совсем понимаю в чем сложность у вас. :(

Простите, имею ввиду Парсинг бренда вроде производит, но не добавляет на сайт. Границы и тд, все стоит

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.