[Поддержка] SimplePars - Универсальный парсер для ИМ

[farshmac]

3 часа назад, partshez сказал:

<a href="/upload/resize_cache/iblock/     .......      "

Весь документ. На данной странице 34  https://prnt.sc/smp52w    Одно фото через замену убрать

Это ссылки не на те товары, мне нужны картинки собранные на лету из двух товаров, портала и очага. 34 ссылка это лишь один портал. 
Они имеют вид /upload/combo/combo_586_207.jpg, но в коде их нет. как и номеров из этих ссылок, чтоб самому ее составить (586 и 207).

[farshmac]

В общем html код немного отличается оттого, что выдает браузер. 

Если скачать страницу на жесткий диск, то ссылки которые мне нужны там есть + цена там формируется так же и парсер ее не видит. 
В парсере не предусмотрено ничего для работы с такими страницами?

[Rassol2]

2 минуты назад, farshmac сказал:

В общем html код немного отличается оттого, что выдает браузер. 

Если скачать страницу на жесткий диск, то ссылки которые мне нужны там есть + цена там формируется так же и парсер ее не видит. 
В парсере не предусмотрено ничего для работы с такими страницами?

Здравствуйте.
То что вы видите в своем браузере может отличатся поскольку браузер дает преобразование javascript , модуль пока не умеет обрабатывать js код.
 

[lerand]

В 21.05.2020 в 14:33, Rassol2 сказал:

Это не крон это я так понимаю вас скопировали содержимое ответа скрипта при запуске.
нажмите на странице крон выключить и включить.

А суть тут простая.
В модуле установлена зашита от параллельных  выполнении. Она пока не идеальна.
Но работает так, если запустился процес и что то делает. Пока он не завершится то повторно запустить крон не получится. И модуль будет сообщать об этом.

 

Как я могу отключить эти сообщения? Все парсится без проблем как и раньше, а сообщений на электронную почту тонны. 

[Rassol2]

3 часа назад, lerand сказал:

 

Как я могу отключить эти сообщения? Все парсится без проблем как и раньше, а сообщений на электронную почту тонны. 

мой модуль не отправляет сообщений на почту отключайте там где вы их устанавливали. Или свяжитесь с поддержкой на хостинге.
Мой модуль вообще не работает с почтой.

[lerand]

2 минуты назад, Rassol2 сказал:

мой модуль не отправляет сообщений на почту отключайте там где вы их устанавливали. Или свяжитесь с поддержкой на хостинге.
Мой модуль вообще не работает с почтой.

Да, но почему именно после обновления это началось?

[Rassol2]

Только что, lerand сказал:

Да, но почему именно после обновления это началось?

наверное потому что до обновления модуль не давал ни какой информации об выполняемых действиях. А я сделал так что бы процесс был более прозрачным.
Но это никак не относится к сообщениям на почту. Отключить это нужно там где это установлено. А в модуле таких настроек банально нет.

Скорее всего это настроено где то в отчетах о выполнении крона на хостинге.

[DimaLarionov]

А можно попросить добавить возможность ставить картинки категорий 

И картинки опций было бы не плохо

[Rassol2]

17 минут назад, DimaLarionov сказал:

А можно попросить добавить возможность ставить картинки категорий 

И картинки опций было бы не плохо

Фото категорий не будет. Так как категории берутся с карточки товара с хлебных крошек а там и намека на фото нету.
А вот фото опциях будет.

[crosman]

Захожу в Парсинг ИМ > Предпросмотр > Выбираю ссылку > Нажимаю предпросмотр

Спойлер

 

[Rassol2]

16 минут назад, crosman сказал:

Захожу в Парсинг ИМ > Предпросмотр > Выбираю ссылку > Нажимаю предпросмотр

  Скрыть контент

 

такое не встречал. 
Если есть возможность пришлите фтп и доступ к админке я посмотрю все. 

[Rassol2]

Интересный баг найден поправлю в следующем релизе. Не критичный.
Ошибка о которой написал пользователь @crosman
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1613246

 

Связана с таким сценарием.
Если вы создаете обычную границу парсинга, а внутри нее запускаете повторяющуюся границу парсинга.
Затем идете и удаляете границу парсинга внутри которой должна крутится повторяющаяся.

Вариант довольно редки поскольку ранние никто так не делал ))
Так что до следующего релиза так делать ненужно.

[Rassol2]

Здравствуйте.
Сегодня у меня не будет онлайна и отписывается смогу только с телефона по мере возможности.
 

[khvoroffski]

Добрый день!

Подскажите, как увеличить время на выполнение запроса и на ожидание соединения. 

У меня есть ссылка от поставщика

Спойлер

https://solar.biz.ua/plugins/vm_ie_imaud/exportyml/exportyml.php

В настроках выставлено на 25 сек выполнение и 25 ожидание https://yadi.sk/i/tJYTioxzV_bTwA

В логах вот

2020-05-27 12:34:49| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Operation timed out after 15008 milliseconds with 0 bytes received | Ссылка - https://solar.biz.ua/plugins/vm_ie_imaud/exportyml/exportyml.php

2020-05-27 12:37:27| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Operation timed out after 25000 milliseconds with 5079040 bytes received | Ссылка - https://solar.biz.ua/plugins/vm_ie_imaud/exportyml/exportyml.php

2020-05-27 12:43:07| Парсинг : ОШИБКА запроса  | Код ошибки = 28 | Текст ошибки = Operation timed out after 25006 milliseconds with 5226496 bytes received | Ссылка - https://solar.biz.ua/plugins/vm_ie_imaud/exportyml/exportyml.php

Т.е. просто не успевает все скачать, на сколько я понимаю.

[Kiyoshi]

Здравствуйте, для увеличения времени запроса достаточно указать паузу в пять секунд. К примеру при парсинге она задается здесь https://prnt.sc/sota00

Указанные вами настройки отвечают за выполнение запроса и ожидания соединения при использование прокси и не должны насколько помню превышать 30с в сумме то есть 15с на запрос и 15 на ожидание.

[khvoroffski]

31 минуту назад, Kiyoshi сказал:

Здравствуйте, для увеличения времени запроса достаточно указать паузу в пять секунд. К примеру при парсинге она задается здесь https://prnt.sc/sota00

Указанные вами настройки отвечают за выполнение запроса и ожидания соединения при использование прокси и не должны насколько помню превышать 30с в сумме то есть 15с на запрос и 15 на ожидание.

Добрый день!

Нет, указанные мной настройки это общие настройки браузера. и мы пока не говорим про парсинг, мы говорим про сбор ссылок по урлу\карте сайта который там в спойлере выше. Он за 25сек (а это максимум из выпадающего списка) не успевает. Так что мне нужно указать направление в каком файле скорректировать выпадающий список и\или где увеличить.

 

И время запроса вы регулируете на сервере сами, там что если у меня там скажем 240, то ничего не мешает и тут сделать около того. (грубо говоря)

[farshmac]

Здравствуйте. 

Есть ли в парсере функционал способный сложить 2 границы в одну? 

У меня составной товар, и на сайте донора указаны 2 цены, мне нужна их сумма, по отдельности я их взять могу. А сложить не получается.

[Kiyoshi]

4 минуты назад, farshmac сказал:

Здравствуйте. 

Есть ли в парсере функционал способный сложить 2 границы в одну? 

У меня составной товар, и на сайте донора указаны 2 цены, мне нужна их сумма, по отдельности я их взять могу. А сложить не получается.

Модуль пока такое не умеет.

[Kiyoshi]

22 минуты назад, khvoroffski сказал:

Добрый день!

Нет, указанные мной настройки это общие настройки браузера. и мы пока не говорим про парсинг, мы говорим про сбор ссылок по урлу\карте сайта который там в спойлере выше. Он за 25сек (а это максимум из выпадающего списка) не успевает. Так что мне нужно указать направление в каком файле скорректировать выпадающий список и\или где увеличить.

 

И время запроса вы регулируете на сервере сами, там что если у меня там скажем 240, то ничего не мешает и тут сделать около того. (грубо говоря)

Понял, придется ждать автора, когда то он описывал как это сделать но что то не нахожу поста.

Змінено 27 травня 2020 користувачем Kiyoshi

[Rassol2]

Смогу ответить на все вопросы только через 2-3 часа.
Извиняюсь.

 

Отправлено с моего Pixel через Tapatalk

[ILexus]

@Rassol2 Уважаемый разработчик.

 

Есть ли возможность запустить несколько заданий по крону одновременно? А не по очереди. Проблема в том что у одного поставщика, парсить данные приходиться через авторизацию, но эта авторизация слетает после 1,5 часа бездействия, и поочередное выполнение нескольких заданий в данном случае не возможно. Соответственно для полной автоматизации необходимо постоянно поддерживать связь с сайтом поставщика. Планируется что данные с этого поставщика будут парситься с большими паузами(в тех пределах чтобы авторизация не слетала), но круглосуточно, без перерывов. Главное чтобы данные актуализировались без моего вмешательства.

[Rassol2]

13 часов назад, khvoroffski сказал:

Добрый день!

Нет, указанные мной настройки это общие настройки браузера. и мы пока не говорим про парсинг, мы говорим про сбор ссылок по урлу\карте сайта который там в спойлере выше. Он за 25сек (а это максимум из выпадающего списка) не успевает. Так что мне нужно указать направление в каком файле скорректировать выпадающий список и\или где увеличить.

 

И время запроса вы регулируете на сервере сами, там что если у меня там скажем 240, то ничего не мешает и тут сделать около того. (грубо говоря)

Здравствуйте.
Можете банально через шаблон модуля добавить любое количество времени на ожидание.
/admin/view/template/catalog/simplepars_browser.tpl

 

Спойлер

После этого в настройках браузера появятся ваш личный выбор колва времени, и после этого можете выбирать его и модуль будет работать по этим настройкам. Я
То есть выбор значения ограничен только колвом предоставленных вариантов, а в самой логике модуля нету ограничений.

[Rassol2]

4 часа назад, ILexus сказал:

@Rassol2 Уважаемый разработчик.

 

Есть ли возможность запустить несколько заданий по крону одновременно? А не по очереди. Проблема в том что у одного поставщика, парсить данные приходиться через авторизацию, но эта авторизация слетает после 1,5 часа бездействия, и поочередное выполнение нескольких заданий в данном случае не возможно. Соответственно для полной автоматизации необходимо постоянно поддерживать связь с сайтом поставщика. Планируется что данные с этого поставщика будут парситься с большими паузами(в тех пределах чтобы авторизация не слетала), но круглосуточно, без перерывов. Главное чтобы данные актуализировались без моего вмешательства.

и как вам это поможет ?
Допустим будет такой вариант, сегодня отработал модуль. А завтра нужно опять идти вручную авторизоваться.
 

Так что нет, тьако возможности нету.
Сейчас работаю над двумя задачами.

1. Деление списка ссылок, для определения какие ссылки не были спарсены (если коротко)
2. Буду делать систему определения авторизованный модуль или нет. И если нет что бы модуль сам мог идти авторизоваться.

Это будет решением вашей задачи. Но как оказалась задачи довольно глобальные и много правок требуют

[khvoroffski]

2 часа назад, Rassol2 сказал:

Здравствуйте.
Можете банально через шаблон модуля добавить любое количество времени на ожидание.
/admin/view/template/catalog/simplepars_browser.tpl

 

  Показать контент

После этого в настройках браузера появятся ваш личный выбор колва времени, и после этого можете выбирать его и модуль будет работать по этим настройкам. Я
То есть выбор значения ограничен только колвом предоставленных вариантов, а в самой логике модуля нету ограничений.

Именно так и сделал вчера, все сработало! )

[Rassol2]

1 минуту назад, khvoroffski сказал:

Именно так и сделал вчера, все сработало! )

И это хорошо