[Поддержка] SimplePars - Универсальный парсер для ИМ

[VEDRUS]

Доброго времени суток. Вопрос по SimplePars

Подскажите возможно ли с вашего парсера парсить контент из модальных окон, где контент динамически подгружается при открытии модального окна?

https://evrotek.spb.ru/catalog/product/26197/

[Axelenz]

1 час назад, Mixxxa163 сказал:

Предлагаю рассмотреть возможность обновления модуля в части нового функционала:

 

На данный момент описание парсится с донора 1 в 1, что приводит к дублю контента, его не уникальности. Необходимо его уникализировать насколько это возможно, но при больших объемах товаров это трудозатратно. Также часто встречаются карточки товара, вообще без описания, и их много. Плюс нижеприведенный вариант описания, только положительно повлияет на конверсию в заявку/покупку.

Предлагаю:

1 во вкладке поиск замена добавить окно, которое будет выполнять функцию рандомизатора текста

2 сгенерированный текст вставлять после спаршенного описания c донора в карточку товара отдельным абзацем, что позволит создавать уникальные шаблоны под каждый проект.

Пример текста {На нашем сайте|В нашем интернет магазине|Позвонив нам|Оставив заявку на почту @mail|Отправив нам заявку на почту @mail} Вы можете {приборести данную модель по выгодной цене|закупить данное оборудование по выгодной цене|.... и тд. тысячи вариаций можно сделать.

В итоге это разбавит текст, а не заполненные карточки будут заполнены уникальным текстом и плюс товары попадут в индекс.

Весьма сомневаюсь, что автор модуля будет этим заниматься... разве что  в далёком будущем, когда уже будут решены все существующие проблемы, например, работа с сайтами, где задействованы скрипты... это реально важнее.

Рекомендую Вам лучше глянуть мой старый пост, где я описывал подход к рандомной загрузке контента.

 

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?page=394&tab=comments#comment-1761801

[Axelenz]

1 час назад, VEDRUS сказал:

Подскажите возможно ли с вашего парсера парсить контент из модальных окон, где контент динамически подгружается при открытии модального окна?

Цитата

Что такое модальное окно

Модальное окно – это элемент интерфейса, которой визуально представляет собой «всплывающее окно», отображающееся над остальной частью страницы.

В "модальном окне" я вижу фото... а весь контент: Описание, Характеристики находятся на странице товара.

[kamrik]

3 часа назад, yurok79 сказал:

Подскажите настройки cron на хостинге beget 

Что и где прописывать, прописал как написано в справке симплпарс, не работает. Какие параметры запроса выбирать на хостинге?

У меня такие настройки. Все работает:    /usr/bin/wget -O - -q -t 1 https://ВАШ ДОМЕН/admin/sp_cron.php

[partshez]

2 часа назад, Mixxxa163 сказал:

Предлагаю рассмотреть возможность обновления модуля в части нового функционала:

 

На данный момент описание парсится с донора 1 в 1, что приводит к дублю контента, его не уникальности. Необходимо его уникализировать насколько это возможно, но при больших объемах товаров это трудозатратно. Также часто встречаются карточки товара, вообще без описания, и их много. Плюс нижеприведенный вариант описания, только положительно повлияет на конверсию в заявку/покупку.

Предлагаю:

1 во вкладке поиск замена добавить окно, которое будет выполнять функцию рандомизатора текста

2 сгенерированный текст вставлять после спаршенного описания c донора в карточку товара отдельным абзацем, что позволит создавать уникальные шаблоны под каждый проект.

Пример текста {На нашем сайте|В нашем интернет магазине|Позвонив нам|Оставив заявку на почту @mail|Отправив нам заявку на почту @mail} Вы можете {приборести данную модель по выгодной цене|закупить данное оборудование по выгодной цене|.... и тд. тысячи вариаций можно сделать.

В итоге это разбавит текст, а не заполненные карточки будут заполнены уникальным текстом и плюс товары попадут в индекс.

Посмотрите АОП. Там это практически реализовано...

https://prnt.sc/247e0vt  Все придумано до нас 

Змінено 23 грудня 2021 користувачем partshez

[panasys]

Ребята, а можно ли парсить с такого ресурса  -  https://eplaza.panasonic.ru/products/digital_av/av_accessories/head_phone/rb-hx220/  ???

[Kiyoshi]

На первый взгляд да но без детальной проверки  гарантий некто не даст ибо можно настроить на карточку но не собрать ссылки или наоборот + водяные знаки если они там есть не всегда можно убрать

[Raxxell]

Всем привет!!!

МНе нужен модуль для сбора прайсов с сайтов, один из вариантов через Парсер, загрузка ссылок каталога в модуль, а на выходе чтобы выдавал yml-файл. Возможно ли такое с вашим модулем?

[Rassol2]

4 минуты назад, Raxxell сказал:

Всем привет!!!

МНе нужен модуль для сбора прайсов с сайтов, один из вариантов через Парсер, загрузка ссылок каталога в модуль, а на выходе чтобы выдавал yml-файл. Возможно ли такое с вашим модулем?

Здравствуйте.

Нет, модуль не создает прайсы в формате yml только в csv.

[yurok79]

23 часа назад, Kiyoshi сказал:

У вас закрыт доступ по .htaccess? Если да попробуйте тогда через PHP-скрипт версий 5.2-7.4 указав полный путь до sp_cron.php

пасибо

[yurok79]

Подскажите по ошибке.

На одном из проектов ссылки собираются нормально, но когда запускаю обновление, проходит 1 товар и застряет.

В режиме предпросмотра, вылазит такая ошибка. Как поправить?

Другие проекты на этом сайте работают отлично.

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 4096 bytes) in /home/i/inforeav/******.ru/public_html/admin/model/catalog/simplepars.php on line 12176

Змінено 24 грудня 2021 користувачем yurok79

[Rassol2]

47 минут назад, yurok79 сказал:

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 4096 bytes) in /home/i/inforeav/******.ru/public_html/admin/model/catalog/simplepars.php on line 12176

не хватает оперативной памяти.

Тут нужно смотреть в чем причина, такое может встретится при обработки кривого xml

Только они бывают настолько громоздкие. И если еше xml кривой, где все прописано в одну строку то такое может быть.
В остальных случаях нужно больше информации, потому что совсем не ясно что вы делали когда эту ошибку получили.

[yurok79]

увеличил лимит в php.ini до 1024 помогло

[Zetx]

подскажите, кто настраивал фид с пром.юа в формате yandex_market.xml, т.е. где есть все данные товара... (не путайте с обычной .xml картой сайта, где только ссылка указана)

так вот, можно ли парсить напрямую без проблем с такой ссылки или же надо заморачиватся с прокси?

Змінено 26 грудня 2021 користувачем Zetx

[Kiyoshi]

Здравствуйте можете спокойно без задержки и прокси парсить так как модуль выгружает его сперва в оперативную память а затем нарезает на товары. Главное чтобы у них не было ограничения на запросы ибо при выгрузке фото можно превысить ограничение.

Змінено 26 грудня 2021 користувачем Kiyoshi

[yurok79]

11 часов назад, Zetx сказал:

подскажите, кто настраивал фид с пром.юа в формате yandex_market.xml, т.е. где есть все данные товара... (не путайте с обычной .xml картой сайта, где только ссылка указана)

так вот, можно ли парсить напрямую без проблем с такой ссылки или же надо заморачиватся с прокси?

Неоднократно парсил. Проблем не было.

[shaulyn]

можно ли сменить домен? купил для другого домена, но там не понадобился парсер.

[Kiyoshi]

Здравствуйте можно откройте главную страницу модуля сверху в правом углу есть кнопка в виде ключа нажмете ее затем вводите ключ и отвязываете от доменна

[shaulyn]

1 минуту назад, Kiyoshi сказал:

Здравствуйте можно откройте главную страницу модуля сверху в правом углу есть кнопка в виде ключа нажмете ее затем вводите ключ и отвязываете от доменна

 

а потом на новом домене установить и ввести ключ?

[Kiyoshi]

Верно после отвязки сможете активировать модуль на новом домене но учтите сбрасывать лицензию можно только раз в 3 дня.

Змінено 27 грудня 2021 користувачем Kiyoshi

[Mixxxa163]

Добрый день, подскажите image не спарсить закрыты js? https://www.emerson.ru/ru-ru/catalog/automation-solutions-ru-ru/measurement-instrumentation-ru-ru/pressure-ru-ru/rosemount-3051-coplanar-pressure-transmitter-ru-ru

[Rassol2]

2 часа назад, Mixxxa163 сказал:

Добрый день, подскажите image не спарсить закрыты js? https://www.emerson.ru/ru-ru/catalog/automation-solutions-ru-ru/measurement-instrumentation-ru-ru/pressure-ru-ru/rosemount-3051-coplanar-pressure-transmitter-ru-ru

Здравствуйте.

Модуль может спарсить все что есть в коде страницы, но если фото подгружаются отдельно и ссылок на них нет в коде страницы тогда не получится.

Модуль не обрабатывает js код.

[shaulyn]

подскажите плих как парсить изображения? на прошлой версии парсера вроде все работало, делал так: парсил <a href="blabla"><img src=/catalog/product.img></a> и они парсились норм. сейчас делаю также но в карточке товара не появляется изображение

[Rassol2]

2 минуты назад, shaulyn сказал:

подскажите плих как парсить изображения? на прошлой версии парсера вроде все работало, делал так: парсил <a href="blabla"><img src=/catalog/product.img></a> и они парсились норм. сейчас делаю также но в карточке товара не появляется изображение

Ничего подобного ни раньше ни сейчас не было.

Всегда нужно было получать ссылку на фото, и что бы по этой ссылке можно было скачать фото.
Вот тут описано как должна выглядеть конструкция

https://simplepars.top/index.php?page=note&n=22

Раздел изображения.

Но точно никогда нельзя было просто выделить кусок html и надеяться что модуль сам поймет что ему нужно взять и куда.

[shaulyn]

подскажите плиз, парсю ИМ на битриксе, сами карточки товара удачно парсятся, а как сделать что парсились еще и сами разделы с подразделами, вручную сначала создать разделы и потом на каждый раздел свои настройки для парсера слишком долго и муторно(очень много разделов и подразделов) и при этом хотелось бы парсить разделы с подразделами вместе с картинками к ним( у каждого раздела и подраздела есть своя картинка) возможно ли это сделать?