[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

06.04.2023 в 09:06, Yuriy160589 сказал:

Перезапись ссылок в любом случае происходит каждый раз. Даже без удаления. Или это нельзя делать?

Перезапись ссылок идет только тогда когда вы это выбрали, в остальных случаях модуль до записывает новые если таковые появляются при сборе ссылок.

[Rassol2]

06.04.2023 в 09:07, Yuriy160589 сказал:

В том то и дело, они не останавливаются. Они сразу почему то начинают работу с 80% выполненными

Вот и ответ.
100% не хватает времени.
Вот у вас 100 000 ссылок нужно пропарсить.
Вы указали выполнять эту работу только с 5 утра до 6 утра.
За это время модуль успел выполнить 50 000 и остановился, так как выделенное время на эту задачу закончилось.
На следующий день пришло время опять для этого задания, модуль продолжает с того места где закончил.

Было бы больше времени или меньше ссылок он бы закончил работу в указанный период.

[Yuriy160589]

06.04.2023 в 17:07, Rassol2 сказал:

Перезапись ссылок идет только тогда когда вы это выбрали, в остальных случаях модуль до записывает новые если таковые появляются при сборе ссылок.

А подскажите пожалуйста как сделать чтобы модуль дозаписывал ссылки, а не записывал их заново?
А то у меня походу он их постоянно заново записывает 
 

[Yuriy160589]

06.04.2023 в 17:12, Rassol2 сказал:

Вот и ответ.
100% не хватает времени.

Нет. Он выполняет 2 задание из 5, а в 3 и 4 задании уже 80% выполнено, хотя он еще до них не дошел

[Rassol2]

06.04.2023 в 09:14, Yuriy160589 сказал:

Нет. Он выполняет 2 задание из 5, а в 3 и 4 задании уже 80% выполнено, хотя он еще до них не дошел

Смотрите количество выделенного времени.
Отключите все задание оставьте одно укажите выполнятся целый день и все выполнится. Это вопрос с настройками времени.

[Rassol2]

06.04.2023 в 09:12, Yuriy160589 сказал:

А подскажите пожалуйста как сделать чтобы модуль дозаписывал ссылки, а не записывал их заново?
А то у меня походу он их постоянно заново записывает

При сборе ссылок он дозаписывает ссылки.

[Yuriy160589]

06.04.2023 в 17:16, Rassol2 сказал:

Смотрите количество выделенного времени.
Отключите все задание оставьте одно укажите выполнятся целый день и все выполнится. Это вопрос с настройками времени.

Оно и так и так выполняется. Дело не во времени. Время стоит с запасом

[Yuriy160589]

06.04.2023 в 17:17, Rassol2 сказал:

При сборе ссылок он дозаписывает ссылки.

У меня при сборе ссылок какое то огромное количество id? это потому что он их заново перезаписывает?

Скрытый текст

 

Змінено 6 квітня 2023 користувачем Yuriy160589

[Rassol2]

06.04.2023 в 09:18, Yuriy160589 сказал:

Оно и так и так выполняется. Дело не во времени. Время стоит с запасом

Ну тогда ишите. Как по мне это вопрос времени тут один в один симптомы.
 

06.04.2023 в 09:21, Yuriy160589 сказал:

У меня при сборе ссылок какое то огромное количество id? это потому что он их заново перезаписывает?

не он, а вы судя по тому что вы писали раньше.
У модуля при сборе ссылок, и по крону и вручную ссылки не перезаписываются они до записываются.

[Yuriy160589]

06.04.2023 в 17:28, Rassol2 сказал:

не он, а вы судя по тому что вы писали раньше.
У модуля при сборе ссылок, и по крону и вручную ссылки не перезаписываются они до записываются.

Хорошо, спасибо за ответы. Скажите, а можно парсить не все ссылки, а только те которые содержат в себе "product"&
Например .../product/herbes-troublantes

[partshez]

07.04.2023 в 10:14, Yuriy160589 сказал:

Хорошо, спасибо за ответы. Скажите, а можно парсить не все ссылки, а только те которые содержат в себе "product"&
Например .../product/herbes-troublantes

Задаем в Шаблоне

[romka7070]

Привіт. Існує проблема. Раніше парсив xml постачальника без будь-яких проблем.

Сьогодні, завантажуючи файл по посиланню отримую не код файла, а HTML код сторінки з помилкою:

<span id="challenge-error-text">
                        Enable JavaScript and cookies to continue
                    </span>

 Я увімкнув приймання кукі з донора в "Настройка запросов". Проблема залишилась. Чи можливо якось увімкнути JS? 

Щиро дякую 

[Yuriy160589]

07.04.2023 в 10:19, partshez сказал:

Задаем в Шаблоне

Спасибо, попробую

Змінено 7 квітня 2023 користувачем Yuriy160589

[romka7070]

Для

В 07.04.2023 в 13:07, romka7070 сказав:

Привіт. Існує проблема. Раніше парсив xml постачальника без будь-яких проблем.

Сьогодні, завантажуючи файл по посиланню отримую не код файла, а HTML код сторінки з помилкою:

<span id="challenge-error-text">
                        Enable JavaScript and cookies to continue
                    </span>

 Я увімкнув приймання кукі з донора в "Настройка запросов". Проблема залишилась. Чи можливо якось увімкнути JS? 

Щиро дякую 

Донор вивантажує xml через модуль UniXML

 

[Rassol2]

07.04.2023 в 05:11, romka7070 сказал:

Для

Донор вивантажує xml через модуль UniXML

 

Донор переделал систему выгрузки файла, теперь для этого нужно использовать js он поддерживается браузерами. Модуль не может такое.
Как вариант открыть через браузера и потом скопировать куки в настройки модуля.
 

[yurok79]

06.04.2023 в 14:48, partshez сказал:

Посмотрите АОП

Спасибо, никогда его не любил) прийдется разбираться

[pgplamen]

Привет, simplepars будет ли это работать PHP 8?

[Rassol2]

10.04.2023 в 07:33, pgplamen сказал:

Привет, simplepars будет ли это работать PHP 8?

Здравствуйте.
Не проверял но думаю нет, там слишком много изменений.
Так же насколько я помню сам опенкарт поддерживает версию php 8 только с версии opencart 4 , мой не адаптирован под данную версию.

[Sadvox]

Подскажите, пожалуйста, если сайт донора на опенкарт в состоянии "Режим обслуживания", а сам xml формируется на лету по ссылке, его можно спарсить? 
То есть по факту любая страница отдается с надписью "Магазин временно закрыт... и тд" и страница генерации прайса в том числе, пробовал настроить авторизацию, логины, пароли - все есть, но пока безуспешно. Может что посоветуете?:)

[Rassol2]

11.04.2023 в 05:27, Sadvox сказал:

Подскажите, пожалуйста, если сайт донора на опенкарт в состоянии "Режим обслуживания", а сам xml формируется на лету по ссылке, его можно спарсить?

Здравствуйте.

Да можно спасрить xml если он доступен по ссылке.

11.04.2023 в 05:27, Sadvox сказал:

То есть по факту любая страница отдается с надписью "Магазин временно закрыт... и тд" и страница генерации прайса в том числе, пробовал настроить авторизацию, логины, пароли - все есть, но пока безуспешно. Может что посоветуете?:)

То есть по ссылке файл недоступен, значит и спарсить его нельзя.
Если он доступен после авторизации тогда пробуйте слетать авторизацию. Тут другого не подскажу.
 

[Sadvox]

11.04.2023 в 13:37, Rassol2 сказал:

То есть по ссылке файл недоступен, значит и спарсить его нельзя.
Если он доступен после авторизации тогда пробуйте слетать авторизацию. Тут другого не подскажу.

 

файл доступен после авторизации, если зайти на страницу /admin авторизоваться и потом перейти на ссылку генерации фида. НО какой метод авторизации использовать? Как бы оба не подходят, как мне кажется:(

Змінено 11 квітня 2023 користувачем Sadvox

[Rassol2]

11.04.2023 в 05:42, Sadvox сказал:

 

файл доступен после авторизации, если зайти на страницу /admin авторизоваться и потом перейти на ссылку генерации фида. НО какой метод авторизации использовать? Как бы оба не подходят, как мне кажется:(

Не уверен что в админку опенкарта можно зайти через обычную авторизацию.
Для админки используется дополнительный механизм в виде токена.
Тут я не подскажу, вроде как токен нужен только для ссылок с админки, но для других страни нет.
Но может формирование кук и отдача происходит уже после захода на страницу с токино. Тут не подскажу.

[Toral]

Якщо в cron запустити проєкт парсингу в csv, де шукати файл ?

[partshez]

12.04.2023 в 22:09, Toral сказал:

Якщо в cron запустити проєкт парсингу в csv, де шукати файл ?

Корень сайта- админ- аплоуд

[Toral]

 

Приїхали?  Я так роумію авторизація пройшла успішно, якщо це все відобразилось