[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

10 минут назад, Djek сказал:

P.S : На всякий случай переустановил, выполнил /inst.php, загрузил файлы для своей php и всё аналогично

Походу я понял в чем причина.
Скинул вам файл исправлений проверьте.
Если заработает тогда внесу в релиз.

и наверное сегодня сделаю релиз с исправлением этого бага.
Жду подтверждения.

Правда в сети нормально буду где то через полтора два часа.

[Rassol2]

Ошибка в том что модуль хочет записать значение резерва колонок, а при сохранении они не отдаются потому что в форме их нету.
Короче одна мелочь потянула за собой другую.

 

[Djek]

14 минут назад, Rassol2 сказал:

Скинул вам файл исправлений проверьте.

Благодарю !!! Подтверждаю - теперь всё работает прекрасно ! Понеслась работа на карантине !!!

[Rassol2]

31 минуту назад, Djek сказал:

Благодарю !!! Подтверждаю - теперь всё работает прекрасно ! Понеслась работа на карантине !!!

я на этом карантине уже два года сижу

[Rassol2]

Внимание.!

В бете, в работе крона найден неприятный косяк.
При работе крона возможно запаралелевание процессов. То есть одновременный запуск несколько заданий крона параллельно.

Собственно связи с этим крайне не рекомендую сейчас использовать крон!!!
Сегодня завтра постараюсь исправить это.

Этот проблема касается всех версий бета, и только работы через крон.

[Embit]

Парсер будет парсить на моей стороне или на вашей (у меня пхп максимум 2 минуты может работать)?

Змінено 12 квітня 2020 користувачем Embit

[Rassol2]

4 часа назад, Embit сказал:

Парсер будет парсить на моей стороне или на вашей (у меня пхп максимум 2 минуты может работать)?

будет парсить на вашей стороне.

Максимум две минуты это в 4 раза больше чем у всех по стандарту . А именно 30 сек.
Значит у вас будет в 4 раза луче

Ну а вообще, модуль лешен проблемы с ограничением выполнения скрипта.

[alexanderlaryaev]

Подскажите пожалуйста - из тех кто ПОЛЬЗУЕТСЯ модулем SimplePars и работал или работает в модулях АОПЛ или Content Downloader X1 - насколько SimplePars проще/сложнее, лучше/хуже, удобнее/тупее, быстрее/медленнее, чем модули АОПЛ и Content Downloader X1 ?

[Rassol2]

Обновление v3.3-5_beta

Довольно важное, и всем стоит обновится на него, особенно тем кто использует модуль для работы в кроне.

Что исправлено.

Работа крона.

Модуль теперь проверяет выполнение крона. Что бы избежать дублирование процессов.

Проблема о которой я писал здесь.
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1584989
За найденный баг спасибо @urchik

Исправление работы с кириллическими доменами.

О которой писал @faza78

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1583763

 

Исправлена резервация колонок в парсинге в csv
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1584230

 

Ну и переработал внутренности функции Редактор товаров.
Но этого вы не увидите поскольку из за критических проблем вынужден быстренько выложить обдейт, не доделив до конца.
Подготовил все что бы добавить фильтрацию по категориям и производителя.

Поскольку сильно спешил выкатить исправления пришлось убрать из редактора товаров возможность заполнять url
Верну как все доделаю.

При обновлении обязательно выполнить /inst.php

Хоть и текста мало в обновлении но важность высока. Особенно при парсинге в по крону.

[urchik]

14 часов назад, alexanderlaryaev сказал:

Подскажите пожалуйста - из тех кто ПОЛЬЗУЕТСЯ модулем SimplePars и работал или работает в модулях АОПЛ или Content Downloader X1 - насколько SimplePars проще/сложнее, лучше/хуже, удобнее/тупее, быстрее/медленнее, чем модули АОПЛ и Content Downloader X1 ?

Проще, удобнее, быстрее. Работал и работаю во всех 3 программах.

 

[partshez]

55 минут назад, urchik сказал:

Проще, удобнее, быстрее. Работал и работаю во всех 3 программах.

Поддерживаю целиком и полностью. Лучше и функциональнее модуля не встречал

[lerand]

Добрый день.

 

Парсю товары с вложенностью категорий. Граница категорий повторяющаяся.

 

в области "Исходный текст" вот так:

 

!========== Повторение [№1] ========= Разделитель [;] ========== !

Домкраты

!========== Повторение [№2] ========= Разделитель [;] ========== !

Домкраты гидравлические

!========== Повторение [№3] ========= Разделитель [;] ========== !

Домкраты гидравлические бутылочные

 

Текст после обработки:

 

Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

Никак не получается сделать замену, чтобы на выходе получить немного другую структуру:

 

Грузоподъемное оборудование;Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

 

Подскажите команду замены. Заранее благодарен.

Змінено 13 квітня 2020 користувачем lerand

[Rassol2]

1 час назад, lerand сказал:

Добрый день.

 

Парсю товары с вложенностью категорий. Граница категорий повторяющаяся.

 

в области "Исходный текст" вот так:

 

!========== Повторение [№1] ========= Разделитель [;] ========== !

Домкраты

!========== Повторение [№2] ========= Разделитель [;] ========== !

Домкраты гидравлические

!========== Повторение [№3] ========= Разделитель [;] ========== !

Домкраты гидравлические бутылочные

 

Текст после обработки:

 

Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

Никак не получается сделать замену, чтобы на выходе получить немного другую структуру:

 

Грузоподъемное оборудование;Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

 

Подскажите команду замены. Заранее благодарен.

Напишите ссылку на сайт. И напишите как должно выглядеть готовое решение.
И я попробую помочь.

[partshez]

3 часа назад, lerand сказал:

Текст после обработки:

Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

Никак не получается сделать замену, чтобы на выходе получить немного другую структуру:

Грузоподъемное оборудование;Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

Грузоподъемное оборудование{csvnc}{gran_533}

гран_533 - это Ваши границы категорий   http://prntscr.com/ryjwr4

Змінено 13 квітня 2020 користувачем partshez

[lerand]

16 часов назад, partshez сказал:

Грузоподъемное оборудование{csvnc}{gran_533}

гран_533 - это Ваши границы категорий   http://prntscr.com/ryjwr4

Спасибо.

 

И снова я.

 

Есть такой пример: https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/

 

Это как бы образующая ссылка для товаров:

 

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179169

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179166

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179165

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179162

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179164

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179163

 

Необходимо спарсить каждую ссылку как отдельный товар, но в коде жесть. Я уже убил почти 4 часа и ничего не смог придумать. Буду признателен за помощь в "раскопках"

 

Не могу разделить эти товары....

 

 

Змінено 14 квітня 2020 користувачем lerand

[Rassol2]

4 минуты назад, lerand сказал:

Спасибо.

 

И снова я.

 

Есть такой пример: https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/

 

Это как бы образующая ссылка для товаров:

 

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179169

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179166

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179165

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179162

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179164

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179163

 

Необходимо спарсить каждую ссылку как отдельный товар, но в коде жесть. Я уже убил почти 4 часа и ничего не смог придумать. Буду признателен за помощь в "раскопках"

 

 

Да код там не подарок.
Но вроде все элементы есть в коде.

Как бы сделал я.
Я бы собрал ссылки на все Образующие ссылки. Как вы их назвали.
Затем сохранил бы их в отдельный текстовый файл.
После чего очистил очереди сканирования.
И перенес бы ссылки на образующие в очередь сканирования.
А в настройках парсинга ссылок на товары указал бы собирать ссылки вот с этого куска кода.

Нашли дешевле?</span>
<span>Задать вопрос</span>
Вот сюда примерно записал бы.

Спойлер

Таким образом, получил бы ссылки на все товары. 
А затем добавил бы к списку полученных ссылок те что за ранние сохранил в файл. 

таким образом у вас будут все ссылки на все товары. ну а парсинг как обычно. 

[lerand]

3 минуты назад, Rassol2 сказал:

Да код там не подарок.
Но вроде все элементы есть в коде.

Как бы сделал я.
Я бы собрал ссылки на все Образующие ссылки. Как вы их назвали.
Затем сохранил бы их в отдельный текстовый файл.
После чего очистил очереди сканирования.
И перенес бы ссылки на образующие в очередь сканирования.
А в настройках парсинга ссылок на товары указал бы собирать ссылки вот с этого куска кода.

Нашли дешевле?</span>
<span>Задать вопрос</span>
Вот сюда примерно записал бы.

  Скрыть контент

Таким образом, получил бы ссылки на все товары. 
А затем добавил бы к списку полученных ссылок те что за ранние сохранил в файл. 

таким образом у вас будут все ссылки на все товары. ну а парсинг как обычно. 

 

ссылки я собрал, проблема как раз в парсинге если разобрать код "конечно" страницы https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179163, то там идет повтор кода другой "конечной" страницы https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179165. Они, парктически все похожи, эти "конечные".

 

С парсингом самих ссылок проблем нет (((

[Rassol2]

4 минуты назад, lerand сказал:

 

ссылки я собрал, проблема как раз в парсинге если разобрать код "конечно" страницы https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179163, то там идет повтор кода другой "конечной" страницы https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179165. Они, парктически все похожи, эти "конечные".

 

С парсингом самих ссылок проблем нет (((

Если код идентичен на разных ссылках значит это одностраничник, и разбить его на несколько товаров пока нет возможности.

[lerand]

2 минуты назад, Rassol2 сказал:

Если код идентичен на разных ссылках значит это одностраничник, и разбить его на несколько товаров пока нет возможности.

 

(((((

 

это капут

[Rassol2]

2 минуты назад, lerand сказал:

 

(((((

 

это капут

не всегда выходит уложить данные с донора в логику опенкарта.
Есть сайты где одна страница содержит в себе 10 товаров. А конкретно страницы отдельного товара нету.
В таком случаи уложить сайт донор одностраничный в формат опенкарта где каждый товар обязан иметь отдельную страницу не получится.

[lerand]

2 минуты назад, Rassol2 сказал:

не всегда выходит уложить данные с донора в логику опенкарта.
Есть сайты где одна страница содержит в себе 10 товаров. А конкретно страницы отдельного товара нету.
В таком случаи уложить сайт донор одностраничный в формат опенкарта где каждый товар обязан иметь отдельную страницу не получится.

 

да я понимаю. Это я так выразился по своим планам. Не верится - все равно сижу и копаю.

[Rassol2]

1 минуту назад, lerand сказал:

 

да я понимаю. Это я так выразился по своим планам. Не верится - все равно сижу и копаю.

кто ишет тот найдет.

можно к примеру сыграть в двухходовку если есть АОП
1. Определяем весь блок где все товары.
2. Повторявшимися границами отделяем первый товар от второго и третьего и ....

3. Разделитель ставим как {csvnl}

4. Получаем в каждой итерации один товар. И через поиск замену пытаемся разделить данные по колонкам.

прасим в csv и загружаем через АОП

Но что то мне кажется что даже этот вариант маловероятен.
 

[lerand]

8 минут назад, Rassol2 сказал:

кто ишет тот найдет.

можно к примеру сыграть в двухходовку если есть АОП
1. Определяем весь блок где все товары.
2. Повторявшимися границами отделяем первый товар от второго и третьего и ....

3. Разделитель ставим как {csvnl}

4. Получаем в каждой итерации один товар. И через поиск замену пытаемся разделить данные по колонкам.

прасим в csv и загружаем через АОП

Но что то мне кажется что даже этот вариант маловероятен.
 

 

Спасибо. 

[Rassol2]

Надоели мне все непонятки с временем крона.
Теперь крон всегда считает время по Гринвичу.
А в замен добавлена корректировка времени по часовым поясам.
 

Спойлер

Теперь зеленым показывает время Гринвича. А в выпадавшем меню вы выбираете время по которому модуль будет определять время старта задания
Если ничего не выбрать будет считать по Гринвичу.

После того как выберите время, модуль будет стартовать по тому времени что вы выбрали и оно всегда будет показывается на месте выпадающего списка.
 

Спойлер

Надуюсь это вариант устроит всех, и все это будет понятно.

Ваше мнения?

[lerand]

Хостинг бегет. Все и так отлично работало.