[Поддержка] SimplePars - Універсальний парсер для ІМ

[partshez]

 

1 час назад, Rassol2 сказал:

@partshez Еше и тайм аут стоит 0
Конечно ничего кроме первого задания не будет выполнятся.

Дословно вы сделали так.
Выполнять задание с 0 до 23 часов ночи.
Когда 

 

То есть вы умышленно выделили на первое задания 24 часа.
И заставили выполнять его без остановки, круглые сутки.

Спасибо! Не учел

[partshez]

https://homidomi.ru/bitrix/catalog_export/export_Xcg.xml

Красивая страница. Вижу ссылки на весь товар, которые мне и нужны.   <url>....https://homidomi.ru/catalog/k..... </url>

Не могу сообразить, как их вытащить в Ссылки на товары?

Змінено 19 травня 2020 користувачем partshez

[Kiyoshi]

48 минут назад, partshez сказал:

https://homidomi.ru/bitrix/catalog_export/export_Xcg.xml

Красивая страница. Вижу ссылки на весь товар, которые мне и нужны.   <url>....https://homidomi.ru/catalog/k..... </url>

Не могу сообразить, как их вытащить в Ссылки на товары?

Есть два варианта первый мой любимый взять карту на сами продукты она есть в той ссылки и уж ее и дернуть но если нужно именно эту ссылку то создается отдельный проект и помощи Повторяющей границ дергаем все ссылки.

[neos1234]

При попытке сбора ссылок ошибка

2020-05-18 21:06:08| Парсинг : ОШИБКА запроса  | Код ошибки = 3 | Текст ошибки = Bad URL | Ссылка - https://УрлУказанВерно.ru

Подскажите в чем может быть проблема?

Спасибо.

[Rassol2]

При попытке сбора ссылок ошибка
2020-05-18 21:06:08| Парсинг : ОШИБКА запроса  | Код ошибки = 3 | Текст ошибки = Bad URL | Ссылка - https://УрлУказанВерно.ru
Подскажите в чем может быть проблема?
Спасибо.

За рабочим местом буду в течение полутора часа тогда всё я посмотрю отвечу.

Отправлено с моего Pixel через Tapatalk

[partshez]

31 минуту назад, Kiyoshi сказал:

Есть два варианта первый мой любимый взять карту на сами продукты она есть в той ссылки и уж ее и дернуть но если нужно именно эту ссылку то создается отдельный проект и помощи Повторяющей границ дергаем все ссылки.

Сам очень люблю работать с картой. Но я ее не могу найти, именно карту с товаром.

Пробовал вариант с повторяющимися границами. Взял эту одну эту ссылку, настроил по всему документу. Получил длиннющий текстовый файл...  А разделитель какой поставить, чтобы можно было скопировать и перенести в окно ссылок на товар?

[Kiyoshi]

28 минут назад, partshez сказал:

Пробовал вариант с повторяющимися границами. Взял эту одну эту ссылку, настроил по всему документу. Получил длиннющий текстовый файл...  А разделитель какой поставить, чтобы можно было скопировать и перенести в окно ссылок на товар?

Разделитель ставить {csvnl}

[Rassol2]

57 минут назад, neos1234 сказал:

При попытке сбора ссылок ошибка

2020-05-18 21:06:08| Парсинг : ОШИБКА запроса  | Код ошибки = 3 | Текст ошибки = Bad URL | Ссылка - https://УрлУказанВерно.ru

Подскажите в чем может быть проблема?

Спасибо.

у вас модуль установлен на локальном сервере ?

[neos1234]

42 минуты назад, Rassol2 сказал:

у вас модуль установлен на локальном сервере ?

Нет, на хосте https://mchost.ru/

[Rassol2]

4 минуты назад, neos1234 сказал:

Нет, на хосте https://mchost.ru/

Если есть возможность пришлите в ЛС доступ к админке и FTP я посмотрю на вашем сайте.

[Rassol2]

4 часа назад, partshez сказал:

https://homidomi.ru/bitrix/catalog_export/export_Xcg.xml

Красивая страница. Вижу ссылки на весь товар, которые мне и нужны.   <url>....https://homidomi.ru/catalog/k..... </url>

Не могу сообразить, как их вытащить в Ссылки на товары?

Могу предложить еше одно решение.

На все разновидности xml я не могу сделать сбор ссылок.
Потому что какие могут быть теги никто не знает. Но вы можете в коде указать каким правилом собирать ссылки.
В данном случаи можно сделать так.

открыть файл /admin/model/catalog/simplepars.php
найти строку
$reg_url = '#\<loc\>(.*?)\<\/loc\>#s';

за комментировать ее , а снизу прописать новую.
$reg_url = '#<url>(.*?)</url>#s';

 

вот так.
 

Спойлер

И тогда модуль будет собирать ссылки со странице которые заключены в тег <url></url>
Но так же на вкладке сбора ссылок нужно выбрать метот сбора C sitemap

 

Вот так
 

Спойлер

 

[Rassol2]

Обновление 3.5-3_beta

Добавлены настройки допуска для парсинга в CSV
 

Спойлер

В пред просмотре парсинга в CSV если включена проверка допусков и какое то правило не пройдет, вы получите сообщение об этом.
 

Спойлер

Так же важный момент, если вы парсите в CSV и не используете проверку границы парсинга, выключайте эту функцию.
 

Спойлер

Именно это переключатель, тем самым модуль будет выполнять меньше операций.

[partshez]

13 часов назад, Rassol2 сказал:

Могу предложить еше одно решение.

Отлично получилось! Спасибо!

[khvoroffski]

Добрый день!

Была ли у кого подобная ошибка (prom) и как побороли?
 

2020-05-20 10:34:54| Парсинг : ОШИБКА  | Страница недоступна, слишком много запросов за короткое время. Ответ сервера [429] Ссылка входа - https://velosport.od.ua/g3052526-zimnie-tovary-inventar Адрес куда перенаправлен запрос | 

 

[khvoroffski]

41 минуту назад, khvoroffski сказал:

Добрый день!

Была ли у кого подобная ошибка (prom) и как побороли?
 

2020-05-20 10:34:54| Парсинг : ОШИБКА  | Страница недоступна, слишком много запросов за короткое время. Ответ сервера [429] Ссылка входа - https://velosport.od.ua/g3052526-zimnie-tovary-inventar Адрес куда перенаправлен запрос | 

 

Полагаю, меня просто блокнул пром по ip...

[Rassol2]

3 минуты назад, khvoroffski сказал:

Полагаю, меня просто блокнул пром по ip...

попробуйте для начала поставить паузу парсинга в несколько секунд.
 

2 часа назад, partshez сказал:

Отлично получилось! Спасибо!

не за что.

[radosti]

Здравствуйте! Подскажите, пожалуйста. Парсер не может получить доступ к сайту. Обращения к серверу блокируются, нет доступа к коду страниц.
Ошибку и скриншот прилагаю.
"2020-05-19 15:39:28| Парсинг : ОШИБКА запроса  | Код ошибки = 35 | Текст ошибки = gnutls_handshake() failed: Handshake failed | Ссылка - ..."

 

Змінено 20 травня 2020 користувачем radosti

[Rassol2]

5 минут назад, radosti сказал:

Здравствуйте! Подскажите, пожалуйста. Парсер не может получить доступ к сайту. Обращения к серверу блокируются, нет доступа к коду страниц.
Ошибку и скриншот прилагаю.
"2020-05-19 15:39:28| Парсинг : ОШИБКА запроса  | Код ошибки = 35 | Текст ошибки = gnutls_handshake() failed: Handshake failed | Ссылка - ..."

 

Похоже что вы используете модуль на локальном сервере и у вас не включена библиотека gnutls в настройках php.
 

[radosti]

3 часа назад, Rassol2 сказал:

Похоже что вы используете модуль на локальном сервере и у вас не включена библиотека gnutls в настройках php.
 

В тех. отделе сообщили, что данная поддержка включена на сервере по умолчанию. Сам сервер виртуальный. Может что-то в разделе "настройки браузера" добавить, куки, например? Подскажите, пожалуйста

[Rassol2]

3 минуты назад, radosti сказал:

В тех. отделе сообщили, что данная поддержка включена на сервере по умолчанию. Сам сервер виртуальный. Может что-то в разделе "настройки браузера" добавить, куки, например? Подскажите, пожалуйста

Напишите в ЛС логин и пароль от админки, и фтп доступ я посмотрю сам.
Если есть такая возможность.

[Rassol2]

На всякий случай напишу и здесь.
Сейчас крон не работает с проверочными полями.

Поскольку проблем с этим не было. Сегодня ночью выложу уже с поддержкой крона.
 

[Kiyoshi]

10 минут назад, Rassol2 сказал:

На всякий случай напишу и здесь.
Сейчас крон не работает с проверочными полями.

Поскольку проблем с этим не было. Сегодня ночью выложу уже с поддержкой крона.
 

Норм

 

Очередное предложение может также добавить в настройки доступа проверку поля по регулярным выражениями.
Это сделать возможным проверять любые варианты данных.

Змінено 20 травня 2020 користувачем Kiyoshi

[Rassol2]

14 минут назад, Kiyoshi сказал:

Очередное предложение может также добавить в настройки доступа проверку поля по регулярным выражениями.
Это сделать возможным проверять любые варианты данных.

Да идея норм, сделаю.
Тогда это перекроет все самые извращенные методы отсеивания страниц.

[Kiyoshi]

Ну не прям извращенные, а так сгладит углы и откроет больше возможность для тестирования

[crosman]

Имеется товар, жидкость в разных обьемах. Каждый обьем это опция. Префикс цены =
Основная цена товара, это цена любой опции, допустим наименьшей опции (в целых числах). В модуле, в настройках опций есть только + и -   Очень не хватает знака =
У меня в редакторе карточки товара такой префикс для цены опции имеется, ставил модуль Опции в категориях (с обновлением цены). Как мне быть, если у меня есть фиксированная цена опции, и мне не нужны ни плюс ни минус.

Спойлер