[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Обновление 3.5_beta

Продолжаем дальше реализовывать полезные функции.

Редактор товаров.

В редакторе товаров появилась возможность работы с категориями.
 

Спойлер

 

Спойлер

И указать главную категорию в товаре.
 

Спойлер

Указание главной категории доступно для версий движка ocStore

Так же в действиях появилась возможность задавать статус при нулевом остатке.
 

Спойлер

Заметил что для работы с товарами стал постоянно использовать редактор товара, значит данная разработка движется в правильном направлении !

 

Планировщик задач (CRON)
Реализована поддержка сбора ссылок по расписанию!

Спойлер

Из особенностей, при создании задания по сбору ссылок вы может указать нужно ли перед стартом задания очишять ссылки на товары.
То есть вот этот список.

Спойлер

Так же сразу опишу логику работы сбора ссылок на товары по крону.

Когда приходит время начать сбор ссылок модуль заходит в проект и нажимает на
 

Спойлер

После этого все ссылки очереди помечаются как непроверенные и модуль начинает их парсить и собирать ссылки на товар.
Если вы не указали модулю что нужно удалять ссылки на товар, то по окончанию сбора у к старым ссылкам на товары добавятся новые которые появились у донора.
Если указали удалять тогда модуль соберет все заново, все ссылки на товары.

Так же обратите внимание что в Графике выполнения в поле Готово/Очередь|Всего
Значение всего можете изменятся в зависимости от того сколько ссылок попало под фильтры очереди.
 

Спойлер

поскольку при сборе ссылок этот список не статичен а постоянно пополняется.

И еше хотел бы всех предупредить, если вы обновляете товары то вы знаете что на обновление у вас 5000-10000 ссылок, в сборе ссылок конечное количество неизвестно и зависит от того как грамотно вы укажите фильтры. А значит процесс сбора ссылок он может быть очень долгим, и ставить такое задание первым в очереди НЕ РЕКОМЕНДУЮ

Пример как делать ненужно!
 

Спойлер

Пример как нужно делать!

Спойлер

Чем выше будет значение Порядок выполнения тем позже относительно других заданий будет выполнятся сбор ссылок.
А значит он будет выполнятся последним, и если вы не сильно точно настроили фильтры то данное задание не помешает выполнению других заданий.
А помешать оно может в том случаи если к примеру с 0-5 утра у вас доступно выполнение двух заданий.
1. Обновления товара
2. Сбор ссылок на новые товары.
Если сбор ссылок будет первым в очереди тогда он запустится и может не успеть закончить работу за 5 часов. (Если фильтры не точны)
Пока будет делается сбор ссылок остальные задания ждут пока завершится сбор. В итоге может получится так что за 5 часов сбор не завершился и скушал все время и наступило шесть часов утра и остальным задания нельзя работать, поскольку задания в кроне настроены на выполнение только с 0-5 утра.

Обновление как обычно незабываем выполнять /inst.php
 

Жду ваши отзывы и замечания

 

[stas2010]

с округлением может сделать также как и другие делают? 

Спойлер

В Беларуси, как и в России сейчас рубли и копейки, и округление у кого как - до сотых, десятых и целых.

[Rassol2]

2 часа назад, stas2010 сказал:

с округлением может сделать также как и другие делают? 

  Показать контент

В Беларуси, как и в России сейчас рубли и копейки, и округление у кого как - до сотых, десятых и целых.

округление в работе с редактором товаров пока остается открытым.
Я думаю как реализовать эту функцию.

[xshader]

Парсер в некоторых случаях пропускает закрывающие теги </li>

Парсим страницу https://videoglaz.ru/teplovizionnye-ip-kamery/dahua/dahua-dh-tpc-acpt8420b-b20100zc510b

Получаем на выходе:

 

Спойлер

 

 

Но в исходном коде страницы закрывающий тег есть

Спойлер

 

Как итог ломается верстка карточки товара после загрузки в магазин и вся страница плывет.

Змінено 7 травня 2020 користувачем xshader
спрятать картинки в спойлер

[Rassol2]

1 минуту назад, xshader сказал:

Парсер в некоторых случаях пропускает закрывающие теги </li>

Парсим страницу https://videoglaz.ru/teplovizionnye-ip-kamery/dahua/dahua-dh-tpc-acpt8420b-b20100zc510b

Получаем на выходе:

Парсер ничего не пропускает.
Это кривая разметка сайта. А браузеры у нас умные, они сами подставляют недостающие теги.
Но по факту модуль не ошибается, он парсит код который отдает донор.

Напишите что вы хотите сделать и я попробую найти решение для вашей задачи.
И пожалуйста когда распечатываемый скриншоты заносите их под спойлер.
 

Спойлер

Довольно часто читаю ветку с телефона и это доставляет много неудобств.

[Rassol2]

@xshader Если откроете ссылку что вы привели выше и нажмете
ctrl+U
то увидите исходный текст страницы.
И он такой же как у парсера.
 

Спойлер

 

[xshader]

1 час назад, Rassol2 сказал:

Парсер ничего не пропускает.
Это кривая разметка сайта. А браузеры у нас умные, они сами подставляют недостающие теги.
Но по факту модуль не ошибается, он парсит код который отдает донор.

Напишите что вы хотите сделать и я попробую найти решение для вашей задачи.
И пожалуйста когда распечатываемый скриншоты заносите их под спойлер.
 

  Показать контент

Довольно часто читаю ветку с телефона и это доставляет много неудобств.

 

Скриншоты в спойлер спрятал.

По решению почистил битые теги заменой, прогнал повторно парсинг, теперь все хорошо.

Заметил еще особенность, что при расстановке границ парсинга регистр важен. Т.е. граница <ul> и <UL> выдавала разные результат.

[Rassol2]

3 минуты назад, xshader сказал:

Скриншоты в спойлер спрятал.

По решению почистил битые теги заменой, прогнал повторно парсинг, теперь все хорошо.

Спасибо.
Радует что вы нашли сами решение вашей задачи.
 

2 минуты назад, xshader сказал:

Заметил еще особенность, что при расстановке границ парсинга регистр важен. Т.е. граница <ul> и <UL> выдавала разные результат.

Это сделано для гибкости настройки, Что бы было больше вариантов.

[bodyak0]

Хелп!!

Warning: file_put_contents(/home/l/liftline/liftline.beget.tech/public_html/admin/simplepars/replace/12_input_text.txt): failed to open stream: No such file or directory in /home/l/liftline/liftline.beget.tech/public_html/admin/model/catalog/simplepars.php on line 7431Warning: file_put_contents(/home/l/liftline/liftline.beget.tech/public_html/admin/simplepars/replace/12_input_arr.txt): failed to open stream: No such file or directory in /home/l/liftline/liftline.beget.tech/public_html/admin/model/catalog/simplepars.php on line 7425Warning: Cannot modify header information - headers already sent by (output started at /home/l/liftline/liftline.beget.tech/public_html/admin/controller/startup/error.php:34) in /home/l/liftline/liftline.beget.tech/public_html/system/library/response.php on line 12

[Rassol2]

Хелп!!

Warning: file_put_contents(/home/l/liftline/liftline.beget.tech/public_html/admin/simplepars/replace/12_input_text.txt): failed to open stream: No such file or directory in /home/l/liftline/liftline.beget.tech/public_html/admin/model/catalog/simplepars.php on line 7431Warning: file_put_contents(/home/l/liftline/liftline.beget.tech/public_html/admin/simplepars/replace/12_input_arr.txt): failed to open stream: No such file or directory in /home/l/liftline/liftline.beget.tech/public_html/admin/model/catalog/simplepars.php on line 7425Warning: Cannot modify header information - headers already sent by (output started at /home/l/liftline/liftline.beget.tech/public_html/admin/controller/startup/error.php:34) in /home/l/liftline/liftline.beget.tech/public_html/system/library/response.php on line 12

Проверьте у вас в директории /admin/simplepars/ есть ли директория replace если нету создайте ее

Отправлено с моего Pixel через Tapatalk

[bodyak0]

17 хвилин назад, Rassol2 сказав:

Проверьте у вас в директории /admin/simplepars/ есть ли директория replace если нету создайте ее

Отправлено с моего Pixel через Tapatalk
 

Спасибо, остался один вопрос по группировке атрибутов, могу ли я спарсить чтобы вывод шел как ниже привел

 

Экран и камера

Диагональ экрана	5"
Тип экрана	PLS
Разрешение экрана	960х540px
Защитное покрытие экрана	нет
Камера основная	8Mpx
Автофокусировка	есть
Оптическая стабилизация	нет
Встроенная вспышка	есть
Макс. разрешение видеозаписи	1920х1080px 30кадр/сек
Камера фронтальная	5Mpx
Особенности	нет

Процессор и память

Центральный процессор	Exynos 4 Quad 7570 1.4GHz
Количество ядер	четырехядерный
Графический процессор	Mali-T720 MP1
Оперативная память	1ГБ
Встроенная память	8ГБ
Типы поддерживаемых карт памяти	microSD, microSDHC, microSDXC
Максимальный объем карты памяти	256ГБ

Коммуникации, интерфейсы

Поддержка сетей 3G,4G	3G, 4G (LTE)
Количество SIM-карт	2
Разъемы под SIM - карты	2 x micro-SIM
Беспроводные возможности	Bluetooth, Wi-Fi 802.11n, Wi-Fi direct
Системы навигации	AGPS, BeiDou, GPS, ГЛОНАСС
Интерфейсы, разъемы	3.5мм комб. наушники и микрофон, microSD, microUSB

[Rassol2]

Спасибо, остался один вопрос по группировке атрибутов, могу ли я спарсить чтобы вывод шел как ниже привел

 

Экран и камера

Диагональ экрана	5"
Тип экрана	PLS
Разрешение экрана	960х540px
Защитное покрытие экрана	нет
Камера основная	8Mpx
Автофокусировка	есть
Оптическая стабилизация	нет
Встроенная вспышка	есть
Макс. разрешение видеозаписи	1920х1080px 30кадр/сек
Камера фронтальная	5Mpx
Особенности	нет

Процессор и память

Центральный процессор	Exynos 4 Quad 7570 1.4GHz
Количество ядер	четырехядерный
Графический процессор	Mali-T720 MP1
Оперативная память	1ГБ
Встроенная память	8ГБ
Типы поддерживаемых карт памяти	microSD, microSDHC, microSDXC
Максимальный объем карты памяти	256ГБ

Коммуникации, интерфейсы

Поддержка сетей 3G,4G	3G, 4G (LTE)
Количество SIM-карт	2
Разъемы под SIM - карты	2 x micro-SIM
Беспроводные возможности	Bluetooth, Wi-Fi 802.11n, Wi-Fi direct
Системы навигации	AGPS, BeiDou, GPS, ГЛОНАСС
Интерфейсы, разъемы	3.5мм комб. наушники и микрофон, microSD, microUSB

Все атрибуты парсятся в одну группу. Если вы создадите все атрибуты заранее в нужных группах то да. В противном случае только раскидывать самому после парсинга.

Отправлено с моего Pixel через Tapatalk

[bodyak0]

Добрый день, на локалке будет работать?

[Rassol2]

23 минуты назад, bodyak0 сказал:

Добрый день, на локалке будет работать?

да почему нет. У вы же писали что у вас строит на локалке.

 

[bodyak0]

23 хвилини назад, Rassol2 сказав:

да почему нет. У вы же писали что у вас строит на локалке.

 

версия старая, вот новая появилась буду тестировать, вот и уточняю)
Края обнова!

Змінено 9 травня 2020 користувачем bodyak0

[Rassol2]

1 минуту назад, bodyak0 сказал:

версия старая, вот новая появилась буду тестировать, вот и уточняю)
Края обнова!

да будет, иногда бывают вопросы поскольку бывает что на локалке нету некоторых функций что всегда есть на хостинге.
Тот же ioncube но да работать будет. Просто возможно нужно будет что то включить в настройках локалки.
Скоро наверное создам гойд, по локалке что бы сразу закрыть все вопросы. Только бы время найти.

[bodyak0]

Тільки що, Rassol2 сказав:

да будет, иногда бывают вопросы поскольку бывает что на локалке нету некоторых функций что всегда есть на хостинге.
Тот же ioncube но да работать будет. Просто возможно нужно будет что то включить в настройках локалки.
Скоро наверное создам гойд, по локалке что бы сразу закрыть все вопросы. Только бы время найти.

Спасибо! На хостинге настроил уже сайт, просто космос!!

[Rassol2]

И да сегодня я официально не в сети.
Всех с праздником.

Спойлер

Так что если я не отвечаю на ваше сообщение это не значит что я игнорирую, просто я так же как и многие провожу время в кругу семьи.
 

[Rassol2]

2 минуты назад, bodyak0 сказал:

Спасибо! На хостинге настроил уже сайт, просто космос!!

Ох а какая бомба выйдет скоро. Ух.
 

Спойлер

 

[faza78]

4 часа назад, Rassol2 сказал:

Ох а какая бомба выйдет скоро. Ух.

Вы нас балуете ))

 

[Rassol2]

3 часа назад, faza78 сказал:

Вы нас балуете ))

 

не делаю ничего того что бы мне самому не было интересно реализовать

[bodyak0]

11 година назад, Rassol2 сказав:

не делаю ничего того что бы мне самому не было интересно реализовать

Добрый день, подскажите столкнулся с проблемой парсинга цены опции и основной цены
https://vorota-center.com.ua/avtomatika-came-bk-1200/
подскажете что делать?) Ну или искать другого донора?

[Rassol2]

1 минуту назад, bodyak0 сказал:

Добрый день, подскажите столкнулся с проблемой парсинга цены опции и основной цены
https://vorota-center.com.ua/avtomatika-came-bk-1200/
подскажете что делать?) Ну или искать другого донора?

Проблема такая? Опишите пожалуйста.

[bodyak0]

6 хвилин назад, Rassol2 сказав:

Проблема такая? Опишите пожалуйста.

мне нужно извлечь цену опции, а цену он извлекает только 1 и то непонятно откуда берет ее)
можете попробовать извлечь цену? Там просто опция как я понимаю реализована на переключении

[bodyak0]

9 хвилин назад, Rassol2 сказав:

Проблема такая? Опишите пожалуйста.

<a href="javascript:void(0);" onclick="$('#j-mod-prop-zubchatajaeyka').val($(this).data('value')).trigger('change', this); return false;" data-value="4" data-tooltip-id="4" class="modification__button   btn j-button-modification-change">
                            Без рейки                                                    </a>

там такого плана переключение опции, цена в шапке меняется но не поддается парсингу)