[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

  В 11.04.2020 в 17:06, Djek сказав:

P.S : На всякий случай переустановил, выполнил /inst.php, загрузил файлы для своей php и всё аналогично

Expand  

Походу я понял в чем причина.
Скинул вам файл исправлений проверьте.
Если заработает тогда внесу в релиз.

и наверное сегодня сделаю релиз с исправлением этого бага.
Жду подтверждения.

Правда в сети нормально буду где то через полтора два часа.

[Rassol2]

Ошибка в том что модуль хочет записать значение резерва колонок, а при сохранении они не отдаются потому что в форме их нету.
Короче одна мелочь потянула за собой другую.

 

[Djek]

  В 11.04.2020 в 17:18, Rassol2 сказав:

Скинул вам файл исправлений проверьте.

Expand  

Благодарю !!! Подтверждаю - теперь всё работает прекрасно ! Понеслась работа на карантине !!!

[Rassol2]

  В 11.04.2020 в 17:34, Djek сказав:

Благодарю !!! Подтверждаю - теперь всё работает прекрасно ! Понеслась работа на карантине !!!

Expand  

я на этом карантине уже два года сижу

[Rassol2]

Внимание.!

В бете, в работе крона найден неприятный косяк.
При работе крона возможно запаралелевание процессов. То есть одновременный запуск несколько заданий крона параллельно.

Собственно связи с этим крайне не рекомендую сейчас использовать крон!!!
Сегодня завтра постараюсь исправить это.

Этот проблема касается всех версий бета, и только работы через крон.

[Embit]

Парсер будет парсить на моей стороне или на вашей (у меня пхп максимум 2 минуты может работать)?

Змінено 12 квітня 2020 користувачем Embit

[Rassol2]

  В 12.04.2020 в 09:39, Embit сказав:

Парсер будет парсить на моей стороне или на вашей (у меня пхп максимум 2 минуты может работать)?

Expand  

будет парсить на вашей стороне.

Максимум две минуты это в 4 раза больше чем у всех по стандарту . А именно 30 сек.
Значит у вас будет в 4 раза луче

Ну а вообще, модуль лешен проблемы с ограничением выполнения скрипта.

[alexanderlaryaev]

Подскажите пожалуйста - из тех кто ПОЛЬЗУЕТСЯ модулем SimplePars и работал или работает в модулях АОПЛ или Content Downloader X1 - насколько SimplePars проще/сложнее, лучше/хуже, удобнее/тупее, быстрее/медленнее, чем модули АОПЛ и Content Downloader X1 ?

[Rassol2]

Обновление v3.3-5_beta

Довольно важное, и всем стоит обновится на него, особенно тем кто использует модуль для работы в кроне.

Что исправлено.

Работа крона.

Модуль теперь проверяет выполнение крона. Что бы избежать дублирование процессов.

Проблема о которой я писал здесь.
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1584989
За найденный баг спасибо @urchik

Исправление работы с кириллическими доменами.

О которой писал @faza78

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1583763

 

Исправлена резервация колонок в парсинге в csv
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1584230

 

Ну и переработал внутренности функции Редактор товаров.
Но этого вы не увидите поскольку из за критических проблем вынужден быстренько выложить обдейт, не доделив до конца.
Подготовил все что бы добавить фильтрацию по категориям и производителя.

Поскольку сильно спешил выкатить исправления пришлось убрать из редактора товаров возможность заполнять url
Верну как все доделаю.

При обновлении обязательно выполнить /inst.php

Хоть и текста мало в обновлении но важность высока. Особенно при парсинге в по крону.

[urchik]

  В 12.04.2020 в 21:03, alexanderlaryaev сказав:

Подскажите пожалуйста - из тех кто ПОЛЬЗУЕТСЯ модулем SimplePars и работал или работает в модулях АОПЛ или Content Downloader X1 - насколько SimplePars проще/сложнее, лучше/хуже, удобнее/тупее, быстрее/медленнее, чем модули АОПЛ и Content Downloader X1 ?

Expand  

Проще, удобнее, быстрее. Работал и работаю во всех 3 программах.

 

[partshez]

  В 13.04.2020 в 11:39, urchik сказав:

Проще, удобнее, быстрее. Работал и работаю во всех 3 программах.

Expand  

Поддерживаю целиком и полностью. Лучше и функциональнее модуля не встречал

[lerand]

Добрый день.

 

Парсю товары с вложенностью категорий. Граница категорий повторяющаяся.

 

в области "Исходный текст" вот так:

 

!========== Повторение [№1] ========= Разделитель [;] ========== !

Домкраты

!========== Повторение [№2] ========= Разделитель [;] ========== !

Домкраты гидравлические

!========== Повторение [№3] ========= Разделитель [;] ========== !

Домкраты гидравлические бутылочные

 

Текст после обработки:

 

Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

Никак не получается сделать замену, чтобы на выходе получить немного другую структуру:

 

Грузоподъемное оборудование;Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

 

Подскажите команду замены. Заранее благодарен.

Змінено 13 квітня 2020 користувачем lerand

[Rassol2]

  В 13.04.2020 в 13:15, lerand сказав:

Добрый день.

 

Парсю товары с вложенностью категорий. Граница категорий повторяющаяся.

 

в области "Исходный текст" вот так:

 

!========== Повторение [№1] ========= Разделитель [;] ========== !

Домкраты

!========== Повторение [№2] ========= Разделитель [;] ========== !

Домкраты гидравлические

!========== Повторение [№3] ========= Разделитель [;] ========== !

Домкраты гидравлические бутылочные

 

Текст после обработки:

 

Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

Никак не получается сделать замену, чтобы на выходе получить немного другую структуру:

 

Грузоподъемное оборудование;Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

 

Подскажите команду замены. Заранее благодарен.

Expand  

Напишите ссылку на сайт. И напишите как должно выглядеть готовое решение.
И я попробую помочь.

[partshez]

  В 13.04.2020 в 13:15, lerand сказав:

Текст после обработки:

Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

 

Никак не получается сделать замену, чтобы на выходе получить немного другую структуру:

Грузоподъемное оборудование;Домкраты;Домкраты гидравлические;Домкраты гидравлические бутылочные

Expand  

Грузоподъемное оборудование{csvnc}{gran_533}

гран_533 - это Ваши границы категорий   http://prntscr.com/ryjwr4

Змінено 13 квітня 2020 користувачем partshez

[lerand]

  В 13.04.2020 в 16:13, partshez сказав:

Грузоподъемное оборудование{csvnc}{gran_533}

гран_533 - это Ваши границы категорий   http://prntscr.com/ryjwr4

Expand  

Спасибо.

 

И снова я.

 

Есть такой пример: https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/

 

Это как бы образующая ссылка для товаров:

 

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179169

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179166

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179165

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179162

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179164

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179163

 

Необходимо спарсить каждую ссылку как отдельный товар, но в коде жесть. Я уже убил почти 4 часа и ничего не смог придумать. Буду признателен за помощь в "раскопках"

 

Не могу разделить эти товары....

 

 

Змінено 14 квітня 2020 користувачем lerand

[Rassol2]

  В 14.04.2020 в 08:24, lerand сказав:

Спасибо.

 

И снова я.

 

Есть такой пример: https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/

 

Это как бы образующая ссылка для товаров:

 

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179169

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179166

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179165

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179162

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179164

https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179163

 

Необходимо спарсить каждую ссылку как отдельный товар, но в коде жесть. Я уже убил почти 4 часа и ничего не смог придумать. Буду признателен за помощь в "раскопках"

 

 

Expand  

Да код там не подарок.
Но вроде все элементы есть в коде.

Как бы сделал я.
Я бы собрал ссылки на все Образующие ссылки. Как вы их назвали.
Затем сохранил бы их в отдельный текстовый файл.
После чего очистил очереди сканирования.
И перенес бы ссылки на образующие в очередь сканирования.
А в настройках парсинга ссылок на товары указал бы собирать ссылки вот с этого куска кода.

Нашли дешевле?</span>
<span>Задать вопрос</span>
Вот сюда примерно записал бы.

  Показати вміст

Таким образом, получил бы ссылки на все товары. 
А затем добавил бы к списку полученных ссылок те что за ранние сохранил в файл. 

таким образом у вас будут все ссылки на все товары. ну а парсинг как обычно. 

[lerand]

  В 14.04.2020 в 08:36, Rassol2 сказав:

Да код там не подарок.
Но вроде все элементы есть в коде.

Как бы сделал я.
Я бы собрал ссылки на все Образующие ссылки. Как вы их назвали.
Затем сохранил бы их в отдельный текстовый файл.
После чего очистил очереди сканирования.
И перенес бы ссылки на образующие в очередь сканирования.
А в настройках парсинга ссылок на товары указал бы собирать ссылки вот с этого куска кода.

Нашли дешевле?</span>
<span>Задать вопрос</span>
Вот сюда примерно записал бы.

  Показати вміст

Таким образом, получил бы ссылки на все товары. 
А затем добавил бы к списку полученных ссылок те что за ранние сохранил в файл. 

таким образом у вас будут все ссылки на все товары. ну а парсинг как обычно. 

Expand  

 

ссылки я собрал, проблема как раз в парсинге если разобрать код "конечно" страницы https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179163, то там идет повтор кода другой "конечной" страницы https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179165. Они, парктически все похожи, эти "конечные".

 

С парсингом самих ссылок проблем нет (((

[Rassol2]

  В 14.04.2020 в 08:44, lerand сказав:

 

ссылки я собрал, проблема как раз в парсинге если разобрать код "конечно" страницы https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179163, то там идет повтор кода другой "конечной" страницы https://spb.tara.ru/catalog/plastikovye_yashchiki/yashchiki_pishchevye/yashchik_600x400x250/?oid=179165. Они, парктически все похожи, эти "конечные".

 

С парсингом самих ссылок проблем нет (((

Expand  

Если код идентичен на разных ссылках значит это одностраничник, и разбить его на несколько товаров пока нет возможности.

[lerand]

  В 14.04.2020 в 08:49, Rassol2 сказав:

Если код идентичен на разных ссылках значит это одностраничник, и разбить его на несколько товаров пока нет возможности.

Expand  

 

(((((

 

это капут

[Rassol2]

  В 14.04.2020 в 08:51, lerand сказав:

 

(((((

 

это капут

Expand  

не всегда выходит уложить данные с донора в логику опенкарта.
Есть сайты где одна страница содержит в себе 10 товаров. А конкретно страницы отдельного товара нету.
В таком случаи уложить сайт донор одностраничный в формат опенкарта где каждый товар обязан иметь отдельную страницу не получится.

[lerand]

  В 14.04.2020 в 08:55, Rassol2 сказав:

не всегда выходит уложить данные с донора в логику опенкарта.
Есть сайты где одна страница содержит в себе 10 товаров. А конкретно страницы отдельного товара нету.
В таком случаи уложить сайт донор одностраничный в формат опенкарта где каждый товар обязан иметь отдельную страницу не получится.

Expand  

 

да я понимаю. Это я так выразился по своим планам. Не верится - все равно сижу и копаю.

[Rassol2]

  В 14.04.2020 в 08:58, lerand сказав:

 

да я понимаю. Это я так выразился по своим планам. Не верится - все равно сижу и копаю.

Expand  

кто ишет тот найдет.

можно к примеру сыграть в двухходовку если есть АОП
1. Определяем весь блок где все товары.
2. Повторявшимися границами отделяем первый товар от второго и третьего и ....

3. Разделитель ставим как {csvnl}

4. Получаем в каждой итерации один товар. И через поиск замену пытаемся разделить данные по колонкам.

прасим в csv и загружаем через АОП

Но что то мне кажется что даже этот вариант маловероятен.
 

[lerand]

  В 14.04.2020 в 09:03, Rassol2 сказав:

кто ишет тот найдет.

можно к примеру сыграть в двухходовку если есть АОП
1. Определяем весь блок где все товары.
2. Повторявшимися границами отделяем первый товар от второго и третьего и ....

3. Разделитель ставим как {csvnl}

4. Получаем в каждой итерации один товар. И через поиск замену пытаемся разделить данные по колонкам.

прасим в csv и загружаем через АОП

Но что то мне кажется что даже этот вариант маловероятен.
 

Expand  

 

Спасибо. 

[Rassol2]

Надоели мне все непонятки с временем крона.
Теперь крон всегда считает время по Гринвичу.
А в замен добавлена корректировка времени по часовым поясам.
 

  Показати вміст

Теперь зеленым показывает время Гринвича. А в выпадавшем меню вы выбираете время по которому модуль будет определять время старта задания
Если ничего не выбрать будет считать по Гринвичу.

После того как выберите время, модуль будет стартовать по тому времени что вы выбрали и оно всегда будет показывается на месте выпадающего списка.
 

  Показати вміст

Надуюсь это вариант устроит всех, и все это будет понятно.

Ваше мнения?

[lerand]

Хостинг бегет. Все и так отлично работало.