[Поддержка] SimplePars - Универсальный парсер для ИМ

[stal13]

Ок, спасибо

[Rassol2]

7 минут назад, stal13 сказал:

Ок, спасибо

не за что.

Уберу эту настройку в обновлении.

[ihos]

Вопрос следующего характера. На сайте донора стоит показ цен только авторизированным пользователям. Есть ли возможность обойти это парсингом или парсить уже авторизирванный сайт? Спасибо! 

[Rassol2]

2 минуты назад, ihos сказал:

Вопрос следующего характера. На сайте донора стоит показ цен только авторизированным пользователям. Есть ли возможность обойти это парсингом или парсить уже авторизирванный сайт? Спасибо! 

Здравствуйте.

Да такая возможность уже реализована в модуле.
Модуль работает с куками и вы можете авторизоваться на сайте доноре.
Прочитать про это можно здесь
https://simplepars.top/index.php?page=note&note_id=15

[Rassol2]

Обновление 2.9-10_beta

 

Исправил все известные мне недочеты.

1. Ошибки с повторной фильтрацией ссылок.
2. Ошибки связанные с кол-во опций по умолчанию.
3. Ошибка связанная с минимальным заказом, когда можно было выставить минимальный заказ 0
По факту релиз исправлений мелочей.

В отладочную информацию добавлен вывод информации с вкладки данные
 

Спойлер

Так же перенес доп настройки из вкладки количество в вкладку данные.
То о чем писал пользователь @stal13
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1488553
 

Теперь управления статусом полость из вкладки данные.
 

Спойлер

Жду ваши сообщения об ошибках. Если таковых не будет готовлю новый стабильный релиз.

[Kamynin]

Подскажите, нужно спарсить товары с сайта letu.ru, но после запуска ни 1 ссылки не находит, это проблема из-за защиты сайта?

[Rassol2]

26 минут назад, Kamynin сказал:

Подскажите, нужно спарсить товары с сайта letu.ru, но после запуска ни 1 ссылки не находит, это проблема из-за защиты сайта?

это не сайт а страшный сон.
В данном случаи луче всего с сайт мапа собрать ссылки, пари помощи альтернативного метода.
Сайт мап тут
https://www.letu.ru/siteindexRU.xml

Вот пример где есть ссылки на товар

https://www.letu.ru/productChanelSitemapRU.xml

А здесь я объяснял что такое альтернативный метод сбора ссылок. Вы точно так же сделайте только не для страницы сайта а для получения ссылок с сайт мапа.
 

Спойлер

 

правда этот донор все грузит под запросами, донор далеко не легкий.

[Kamynin]

Спасибо за ответ.

И не могли бы вы подсказать, беру другой сайт, shop.rivegauche.ru настраиваю фильтры ссылок

category
makiyazh-13
dlya-litsa-2,

после запускаю сканирование, но из 200-300 ссылок, находит 30-35 и совсем не того товара

[Rassol2]

1 час назад, Kamynin сказал:

Спасибо за ответ.

И не могли бы вы подсказать, беру другой сайт, shop.rivegauche.ru настраиваю фильтры ссылок

category
makiyazh-13
dlya-litsa-2,

после запускаю сканирование, но из 200-300 ссылок, находит 30-35 и совсем не того товара

скиньте настройки проекта и я проверю.
так на глаз нет смысл предполагать, потому что одна запятая или один тумблер в фильтрах может отсеет множество ссылок.

Луче скиньте экспорт настроек и я посмотрю о чем речь.

[Kamynin]

SPsetting-1.json

[Kamynin]

18 минут назад, Rassol2 сказал:

скиньте настройки проекта и я проверю.
так на глаз нет смысл предполагать, потому что одна запятая или один тумблер в фильтрах может отсеет множество ссылок.

Луче скиньте экспорт настроек и я посмотрю о чем речь.

У меня проблема сейчас с отображением страниц. Может я конечно сильно тугой, но тяжело дается настройка. Спасибо за помощь 

Змінено 28 листопада 2019 користувачем Kamynin

[Rassol2]

8 часов назад, Kamynin сказал:

У меня проблема сейчас с отображением страниц. Может я конечно сильно тугой, но тяжело дается настройка. Спасибо за помощь 

Судя по настройкам вам нужно только с этой категории собрать товары.
https://iledebeaute.ru/shop/hair/patch/

 

Значит вот такие настройки будут в самый раз.
SPsetting-85.json

 

а если вам нужны товары со всего магазина тогда нужно менять стартовую ссылку и убирать с фильтров
/hair/patch/
Так как эта часть заставляет модуль оставлять только ссылки этой категории.

[pgoloyad]

попался сайт на котором картинки размещены данными в html,

Спойлер

 

не могу спарсить содержимое  тега. Есть ли ограничение на буфер либо настройки неправильно (но тут все просто вроде)

Короче с этой страницы не получается  спарсить данные -  описание 

http://elsiton.ru/index.php?action=tovar&id=5589737

Змінено 29 листопада 2019 користувачем pgoloyad

[Rassol2]

2 минуты назад, pgoloyad сказал:

попался сайт на котором картинки размещены данными в html,

  Показать контент

 

не могу спарсить содержимое  тега. Есть ли ограничение на буфер либо настройки неправильно (но тут все просто вроде)

Короче с этой страницы не получается  спарсить данные

http://elsiton.ru/index.php?action=tovar&id=5589737

аж интересно что курят разработчики этих сайтов.
Сейчас попробую что то придумать.

[Rassol2]

27 минут назад, pgoloyad сказал:

попался сайт на котором картинки размещены данными в html,

  Показать контент

 

не могу спарсить содержимое  тега. Есть ли ограничение на буфер либо настройки неправильно (но тут все просто вроде)

Короче с этой страницы не получается  спарсить данные -  описание 

http://elsiton.ru/index.php?action=tovar&id=5589737

Они тут фотки напрямую вставляют в код сайта. Причем кодируя их.
На уровне модуля это можно порешать, но это большой обьем работы.
Если такие доноры будут часто встречается я реализую конвертацию таких фото в нормальный вид.

Но если вам прям очень очень нужно, и вы ради этого готовы немного поковырять код, тогда я здесь распишу что поменять в модуле и как настроить границу парсинга, что бы модуль сам раскодировал фото и положил в товар.

В теории нужно будет одну функцию переписать. Если готовы тогда как появится немного свободного времени я вам распишу все.

[Nomandvs]

@Rassol2 такие сайты встречают, но редко. Примерно 2-3 из 100. Все важные элементы пропускают через base64, что то вроде защиты от парсинга.

[Rassol2]

6 минут назад, Nomandvs сказал:

@Rassol2 такие сайты встречают, но редко. Примерно 2-3 из 100. Все важные элементы пропускают через base64, что то вроде защиты от парсинга.

@Nomandvs  ну мы же тоже не просто так свой хлеб едим.
Можно порешать одной строкой кода.
 

Спойлер

 

Спойлер

Изначально все писалось с расчетом что фото лежит по ссылке. Хотя минут за 20 могу поменять функцию и фото будет браться раскодировать и все будет хорошо.

Проблема в том что поменяв функцию перестанут работать парсинг с обычных сайтов. А значит нужно делать переключатель.
Здесь хочу так.
А здесь иначе.

А это уже долго.
Но тоже можно.

[Nomandvs]

@Rassol2 может сделать обёртку в виде тегов? Обернул границу - к ней применяется эта функция, не обернул - парсит как обычно. С технической стороны не знаю как это будет просто или нет.

[Rassol2]

3 минуты назад, Nomandvs сказал:

@Rassol2 может сделать обёртку в виде тегов? Обернул границу - к ней применяется эта функция, не обернул - парсит как обычно. С технической стороны не знаю как это будет просто или нет.

Примерно так и думал. В случаи если делать на постоянку.
1. Либо сделать в поиск замене выбираем границу а там переключатель.
  а. Ничего.
  б. Закодировать в base64
  с. Раскодировать base64

 

2.Просто ввести понятие {base64[{gran_1}]} Типо такого. Все что внутри раскодировать.
Но сперва нужно что бы у этого появилось востребованность. А то просто так наворачивать функционал не хочу.
 

[Rassol2]

А то и так получается уже куча функционала, а его нужно поддерживать и обслуживать.
Чем сложнее система тем чаше ломается

[Kamynin]

Подскажи пожалуйста, в парсинге не открывает страницу

[Rassol2]

@Kamynin Это нормально, не все сайты разрешают открывать себя в ifram но это никак не влияет на работу парсера.
Это только запрещает открывать сайт внутри сайта.

Нажмите сюда
 

Спойлер

И страница что вы просматриваете откроется в новой вкладке браузере. Там будете смотреть на нужные элементы страницы а модуле работать с кодом и границами.

Так же можете отключить пред просмотр сайта в модуле, он не нужен так как донор запрещает открывать себя в ifram. Отключив у вас увеличится блок с кодом. За то с кодом будет удобнее работать

Это нормально.

[Kamynin]

Не подскажите, а как настроить импорт брендов?

[Rassol2]

5 часов назад, Kamynin сказал:

Не подскажите, а как настроить импорт брендов?

так же как и обычную границу парсинга.

А вообше нужно больше смысла в вопросе что бы понять что вы имеете в виду. А то так я не совсем понимаю в чем сложность у вас.

[Kamynin]

12 часов назад, Rassol2 сказал:

так же как и обычную границу парсинга.

А вообше нужно больше смысла в вопросе что бы понять что вы имеете в виду. А то так я не совсем понимаю в чем сложность у вас.

Простите, имею ввиду Парсинг бренда вроде производит, но не добавляет на сайт. Границы и тд, все стоит