[Поддержка] SimplePars - Универсальный парсер для ИМ

[Axelenz]

А что у Вас в логах написано ? Там же вся информация, как положительная, так и отрицательная по парсингу...

[Vetlucky777]

13.08.2023 в 22:34, Rassol2 сказал:

не совсем понял суть вопроса, так как модуль сам умеет заменять id категории донора на их названия.
 

  Показать содержимое

Это описано в данной инструкции.
https://simplepars.top/index.php?page=note&n=35

А при таком раскладе неимеет значения есть там нули или нет, модуль помогает вам оперировать названиями категорий а не их id

Но в любом случаи можно использовать просто id и как и любую другую границу париснга можно изменять через поиск замену удаляя нули или все что вам нужно удалить.

 

спасибо, разобрался и сделал как хотел.

еще вопрос, как быть если товар исчез у донора, статью на сайте я читал.

там написано если товар не был обновлен сегодня.

 

у меня обновление идет 3 раза в день, возможно товары которые пропали у донора отключать сразу после обновления?

я пока придумал вариант это перед парсингом, автоматически делать всем товарам количество 0, и те что не обновятся так и останутся с 0.

возможно есть другие способы

[Rassol2]

16.08.2023 в 15:45, Vetlucky777 сказал:

спасибо, разобрался и сделал как хотел.

еще вопрос, как быть если товар исчез у донора, статью на сайте я читал.

там написано если товар не был обновлен сегодня.

 

у меня обновление идет 3 раза в день, возможно товары которые пропали у донора отключать сразу после обновления?

я пока придумал вариант это перед парсингом, автоматически делать всем товарам количество 0, и те что не обновятся так и останутся с 0.

возможно есть другие способы

Да можно сделать.
Обновите модуль до последней бета. Она поддерживает новый формат {sdata}
Подробнее прочтете здесь - https://simplepars.top/index.php?page=note&n=54

 

[Vetlucky777]

17.08.2023 в 02:32, Rassol2 сказал:

Да можно сделать.
Обновите модуль до последней бета. Она поддерживает новый формат {sdata}
Подробнее прочтете здесь - https://simplepars.top/index.php?page=note&n=54

 

спасибо.

подскажите почему через несколько дней увеличивается разница между обработкой хмл и парсингом? на скрине я сделал рестарт.  через неделю будет 15 минут разницы. В логах написано что успешно происходит нарезка хмл на ссылки и через 15 минут начинается парсинг 

Цитата

 

[Rassol2]

17.08.2023 в 18:16, Vetlucky777 сказал:

спасибо.

подскажите почему через несколько дней увеличивается разница между обработкой хмл и парсингом? на скрине я сделал рестарт.  через неделю будет 15 минут разницы. В логах написано что успешно происходит нарезка хмл на ссылки и через 15 минут начинается парсинг 

Время что видно на скриншоте говорит о том когда закончился парсинга.
Первое время 02:10:16 время когда закончилось нарезание. Затем крон на хостинге дернул скрипт и он начал выполнять следующие задание что у вас в очереди.
И когда он выполнил задание записал время когда оно было выполнено. А это 02:10:32
Разница между первым и вторым временем, это то количество времени что нужно на выполнение задания.

[partshez]

18.08.2023 в 02:16, Vetlucky777 сказал:

спасибо.

подскажите почему через несколько дней увеличивается разница между обработкой хмл и парсингом? на скрине я сделал рестарт.  через неделю будет 15 минут разницы. В логах написано что успешно происходит нарезка хмл на ссылки и через 15 минут начинается парсинг 

 

Два задания выполнены на за 15 минут, с за 32 секунды. Но крон запускает выполнение каждую минуту. Следующий раз закончит выполнение в 6.11, следующий в 10.12, потом в 14.13...

За сутки сдвиг 5 минут

Змінено 18 серпня 2023 користувачем partshez

[Axelenz]

18.08.2023 в 02:16, Vetlucky777 сказал:

подскажите почему через несколько дней увеличивается разница между обработкой хмл и парсингом? на скрине я сделал рестарт.  через неделю будет 15 минут разницы. В логах написано что успешно происходит нарезка хмл на ссылки и через 15 минут начинается парсинг 

Цитата

Тогда и я вставлю свои 5 копеек...

Подобное происходит потому, что у клиента на хостинге время у планировщика выставлено не так, как рекомендует сам разработчик модуля:

* * * * * (ежеминутный старт), а вот так:

0 * * * * (или что-то похожее...)

А это далеко не одно и то же... Это значит, что cron должен срабатывать не ежеминутно, а каждый промежуток времени, кратный 10 (десяти). Т.е. в 10, 20, 30... минут.

Вот cron и срабатывает не ровно в 2 часа, а ровно в 2 часа и 10 минут и выполняет обработку xml 16 секунд и парсинг 16 секунд. Если бы товаров было много и он не успевал бы обработать всё за 1 минуту, тогда произошёл бы останов по окончании минуты и следующий запуск и работа cron продолжилась бы в 2 часа и 20 минут... я так себе это представляю...

Следующий запуск cron произойдёт через 4 часа, согласно настроек модуля... т.е. в 6 часов и 10 минут...

Только вот дёргать каждые 4 часа обновление 374 товаров... смысл такой себе ) Ну 2-3 раза... это какая высокая оборачиваемость товара должна быть, чтобы требовалось постоянное обновление остатков...

Змінено 18 серпня 2023 користувачем Axelenz

[Vetlucky777]

18.08.2023 в 10:28, Axelenz сказал:

Тогда и я вставлю свои 5 копеек...

Подобное происходит потому, что у клиента на хостинге время у планировщика выставлено не так, как рекомендует сам разработчик модуля:

* * * * * (ежеминутный старт), а вот так:

0 * * * * (или что-то похожее...)

А это далеко не одно и то же... Это значит, что cron должен срабатывать не ежеминутно, а каждый промежуток времени, кратный 10 (десяти). Т.е. в 10, 20, 30... минут.

Вот cron и срабатывает не ровно в 2 часа, а ровно в 2 часа и 10 минут и выполняет обработку xml 16 секунд и парсинг 16 секунд. Если бы товаров было много и он не успевал бы обработать всё за 1 минуту, тогда произошёл бы останов по окончании минуты и следующий запуск и работа cron продолжилась бы в 2 часа и 20 минут... я так себе это представляю...

Следующий запуск cron произойдёт через 4 часа, согласно настроек модуля... т.е. в 6 часов и 10 минут...

Только вот дёргать каждые 4 часа обновление 374 товаров... смысл такой себе ) Ну 2-3 раза... это какая высокая оборачиваемость товара должна быть, чтобы требовалось постоянное обновление остатков...

на хостинге выставлено правильно именно каждую минуту обновления * * * * *

оптовая продажа и остатки тянутся с срм интернет магазин не единственный канал продаж поэтому и частое обновление. 

разве что можно сделать чтоб обновление было не круглые сутки, а с 7 утра до 23.

 

вот кидаю новый скрин через 1,5 суток разница между обработкой xml и парсингом уже 10 минут.

это не критично, после рестарта оно обновится.

самому интересно узнать почему так происходит

 

 

Цитата

 

 

[partshez]

19.08.2023 в 12:06, Vetlucky777 сказал:

на хостинге выставлено правильно именно каждую минуту обновления * * * * *

оптовая продажа и остатки тянутся с срм интернет магазин не единственный канал продаж поэтому и частое обновление. 

разве что можно сделать чтоб обновление было не круглые сутки, а с 7 утра до 23.

 

вот кидаю новый скрин через 1,5 суток разница между обработкой xml и парсингом уже 10 минут.

это не критично, после рестарта оно обновится.

самому интересно узнать почему так происходит.

 

 

 

 

 

А вопрос-то в чем? Непонятно. Второе задание выполнено за 10 минут. И что не нравится или что непонятного?

Время от обработки xml до начала работы задания Парсинг в ИМ минимальное. Здесь мы видим время окончания работы первого задания и окончания работы второго задания. 

Что Вы хотите понять? Нужно проследить время выполнения каждого заданий за сутки, а не один раз через 1.5 суток

 

 

Змінено 19 серпня 2023 користувачем partshez

[Vetlucky777]

19.08.2023 в 12:23, partshez сказал:

А вопрос-то в чем? Непонятно. Второе задание выполнено за 10 минут. И что не нравится или что непонятного?

вопрос в том почему разница между заданием Обработчик XML/YML и Парсинг в ИМ была 16 секунд

а через 1,5 суток 10 минут.

из логов 

10:18:15| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка

10:18:15| --> XML Обработчик  | Произведено деление XML файла

 

10:28:02| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка

10:28:19| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка

 

получается Парсинг в ИМ всех товаров занял 17 секунд.

получается после деления XML файла парсер стоял на паузе до 10:28:02.

на хостинге в логах запуска крона каждую минуту происходит запуск скрипта.

 

[Rassol2]

19.08.2023 в 04:43, Vetlucky777 сказал:

вопрос в том почему разница между заданием Обработчик XML/YML и Парсинг в ИМ была 16 секунд

а через 1,5 суток 10 минут.

из логов 

10:18:15| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка

10:18:15| --> XML Обработчик  | Произведено деление XML файла

 

10:28:02| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка

10:28:19| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка

 

получается Парсинг в ИМ всех товаров занял 17 секунд.

получается после деления XML файла парсер стоял на паузе до 10:28:02.

на хостинге в логах запуска крона каждую минуту происходит запуск скрипта.

 

Если эти логи идут один за одним то ответ только один, никто не дергал скрипт в течении 10 минут.
Модуль сам не мог бы отказываться 10 минут выполнять работа, а потом согласится.

Если сильно волнует этот вопрос дождитесь завершения первого задания, и если второе не запустится в течении 2-3 минут, дерните врунчную крон.
ваш_сайт/admin/sp_cron.php
Если выполнение пойдет то вот ответ на ваш вопрос. А точнее выполнение не начиналось из за того что никто не вызывал скрипт.
А если не будет выполнятся то вы минимум увидите какую то ошибку.

[Vetlucky777]

20.08.2023 в 00:06, Rassol2 сказал:

Если эти логи идут один за одним то ответ только один, никто не дергал скрипт в течении 10 минут.
Модуль сам не мог бы отказываться 10 минут выполнять работа, а потом согласится.

Если сильно волнует этот вопрос дождитесь завершения первого задания, и если второе не запустится в течении 2-3 минут, дерните врунчную крон.
ваш_сайт/admin/sp_cron.php
Если выполнение пойдет то вот ответ на ваш вопрос. А точнее выполнение не начиналось из за того что никто не вызывал скрипт.
А если не будет выполнятся то вы минимум увидите какую то ошибку.

спасибо за ответ, да я вот тоже так понял что 10 минут скрипт не запускался.

посмотрел логи запуска скрипта так нет там есть инфа как он запускается выполняется в этим 10 минут когда парсинг был на паузе хостинг ukraine

Змінено 19 серпня 2023 користувачем Vetlucky777

[Rassol2]

19.08.2023 в 16:54, Vetlucky777 сказал:

спасибо за ответ, да я вот тоже так понял что 10 минут скрипт не запускался.

посмотрел логи запуска скрипта так нет там есть инфа как он запускается выполняется в этим 10 минут когда парсинг был на паузе хостинг ukraine

Ну вот сделайте то что я вам написал. 
Если дергать скрипт то у него 2 пути. 
1) работать. 
2) вывалится в ошибку. 
 

если второй вариант то вы увидите ошибку , либо на экране либо в логах. Во всех остальных случаях это не касается модуля. Так как модуль сам по себе не может 10 минут отказываться работать , а потом согласится. 

[partshez]

Всем привет. В одном проекте есть товары 20 производителей. Необходимо НЕ обновлять цену двух производителей, остальные цены в товарах обновлять. Можно ли настроить это в одном проекте? Например, через if.

Сейчас создаю дубль проекта. В первом правилами допуска Не обрабатываю товары этих двух производителей. Во втором проекте Обрабатываю только два этих производителя. Соответсвенно настройки для цены выставляю. Все нормально. Но каждый проект перебирает 50 тыс товаров. Много времени занимает и возрастает вероятность блокировки донором.

Пока не придумал, как можно реализовать это в одном проекте

Змінено 22 серпня 2023 користувачем partshez

[Axelenz]

22.08.2023 в 20:12, partshez сказал:

Необходимо НЕ обновлять цену двух производителей, остальные цены в товарах обновлять. Можно ли настроить это в одном проекте? Например, через if.

Но это необходимо управление не самой ценой а действием над ценой: обновлять или не обновлять. Тут с помощью имеющейся логики не получится, она как раз работает с ценой.

Два проекта без скриптов будет нормально...

Но тут необходимо знать, используются ли уже скрипты в данном проекте. Если используются, то можно и ещё один добавить... тогда получится обойтись и одним проектом.

 

Как вариант, можно попробовать предложить модулю внести в цену заведомую ошибку (например - текст).

Пример:

Делаем дополнительную границу, в которой заменяем наименование всех (кроме двух) Производителей на 1. Имена тех, где не нужно обновлять меняем на 0.

Делаем в цене проверку 1 или 0.

Если 1, то используется граница с ценой, если 0 - то подсовываем, например, границу с названием Производителя. Это ошибка и тут вопрос, как модуль это воспримет... можно попробовать, может он просто оставит прежнюю цену... 

Змінено 22 серпня 2023 користувачем Axelenz

[partshez]

22.08.2023 в 20:33, Axelenz сказал:

Но это необходимо управление не самой ценой а действием над ценой: обновлять или не обновлять. Тут с помощью имеющейся логики не получится, она как раз работает с ценой.

Два проекта без скриптов будет нормально...

Но тут необходимо знать, используются ли уже скрипты в данном проекте. Если используются, то можно и ещё один добавить... тогда получится обойтись и одним проектом.

 

Как вариант, можно попробовать предложить модулю внести в цену заведомую ошибку (например - текст).

Пример:

Делаем дополнительную границу, в которой заменяем наименование всех (кроме двух) Производителей на 1. Имена тех, где не нужно обновлять меняем на 0.

Делаем в цене проверку 1 или 0.

Если 1, то используется граница с ценой, если 0 - то подсовываем, например, границу с названием Производителя. Это ошибка и тут вопрос, как модуль это воспримет... можно попробовать, может он просто оставит прежнюю цену... 

**Делаем дополнительную границу, в которой заменяем наименование всех (кроме двух) Производителей на 1. Имена тех, где не нужно обновлять меняем на 0.**

Все логично. За исключением. В таком случае модуль не запишет цену этим производителям при Добавлении товара. 

Скрипты не используются в проекте.

**Но это необходимо управление не самой ценой а действием над ценой: обновлять или не обновлять**  Именно это нужно как-то реализовать

 

Змінено 22 серпня 2023 користувачем partshez

[Axelenz]

22.08.2023 в 20:58, partshez сказал:

В таком случае модуль не запишет цену этим производителям при Добавлении товара. 

Не скажу даже... но в модуле стоит логика, что делать При обновлении

Обновлять или Не обновлять ...

 

Скрытый текст

 

очевидно, что такая логика выбрана исходя из того, что товар не может быть загружен без Цены. Поэтому товар загружается всегда с какой-то ценой, а обновлять её в дальнейшем или не обновлять... это уже на выбор...

 

Если бы были отдельные поля Цен, что делать При добавлении и отдельно При обновлении... это конечно решило бы много подобных проблем...

 

Ну можно ещё добавить логики в уже существующую в модуле логику, например {ifup[]} и {ifadd[]} соответственно...

Если обновление и если добавление... Но тогда вопрос с дальнейшими обновлениями модуля...

 

Цитата

{if[]} - Если. Блок указания условия.
{elif[]} - Альтернативное ЕСЛИ. Проверяется в случаи если условие в блоке {if[]} не правдиво.
{else} - Иначе. Значение по умолчанию, устанавливается если {if[]} и все последующие {elif[]} не правдивы.

 

Сам всегда в подобных случаях использовал скрипты, но это тормозит возможности использования мультипоточности (

Змінено 22 серпня 2023 користувачем Axelenz

[Rassol2]

22.08.2023 в 13:01, Axelenz сказал:

Сам всегда в подобных случаях использовал скрипты, но это тормозит возможности использования мультипоточности (

Я могу переработать фунциб собственных скриптов и много поточность будет.
Но тогда будет только один скрипт на проект.

По, сути любую логику можно в одном скрипте уложить.
Но сделано много скриптов по той причине что разные исполнители писали скрипты в своих файлах, да и много поточность далеко не всегда нужна.
Вся проблема в собственных скриптах и много поточности в том что используется одна область видимости и при много потоках два скрипта которые содержат одинаковые переменные или имена функций перестанут работать, либо будут работать непредсказуемо.

[ihos]

а что делать если код сайта видет вот так https://prnt.sc/Cxw2sumXRqpR

[partshez]

23.08.2023 в 23:08, ihos сказал:

а что делать если код сайта видет вот так https://prnt.sc/Cxw2sumXRqpR

Читать здесь и пробовать разные варианты https://simplepars.top/index.php?page=notes&tag_id=21

Или искать другого донора

 

[mirek]

Понятно, что тупизм ) Но как спарсить одну конкретную страницу ?  Предвидя... Я уже советовал использовать ctrl+c и ctrl+v ) Но это не помогло. К примеру есть ссылка на конкретный товар .../msi-g2412-9s6-3ba41t-066/  Понятно, что я создал отдельный проект под это. И поставил Стартовой ссылкой .../msi-g2412-9s6-3ba41t-066/ 

 

Но Парсер в результате эту ссылку даже не ставит на 1е место в 0 в спарсенных ссылках.  Так возможно вообще настроить в отдельном проекте на парсинг 1й ссылки?

 

 

[Rassol2]

23.08.2023 в 15:08, ihos сказал:

а что делать если код сайта видет вот так https://prnt.sc/Cxw2sumXRqpR

Какая у вас версия модуля ?

[Rassol2]

23.08.2023 в 16:32, mirek сказал:

Понятно, что тупизм ) Но как спарсить одну конкретную страницу ?  Предвидя... Я уже советовал использовать ctrl+c и ctrl+v ) Но это не помогло. К примеру есть ссылка на конкретный товар .../msi-g2412-9s6-3ba41t-066/  Понятно, что я создал отдельный проект под это. И поставил Стартовой ссылкой .../msi-g2412-9s6-3ba41t-066/ 

 

Но Парсер в результате эту ссылку даже не ставит на 1е место в 0 в спарсенных ссылках.  Так возможно вообще настроить в отдельном проекте на парсинг 1й ссылки?

 

 

Да записать ссылку в список на парсинг.
Вот сюда
 

Скрытый текст

В проекте всегда должна быть стартовая ссылка, либо хотя бы домен с донора, это нужно что бы модуль понимал что подставлять в относительные ссылки.
А если вы хотите парсить одну ссылку, то тут достаточно записать ее в список Ссылки на товар.

[orlanchik]

Доброго дня.

При обновлении модуля ранее настроенные сайты сохраняются?

[Rassol2]

24.08.2023 в 08:36, orlanchik сказал:

Доброго дня.

При обновлении модуля ранее настроенные сайты сохраняются?

Да, но есть нюансы.
если вы обновляете стабильно то проблем не будет.

Если вы пропустили с десяток второй обновлений, то добро пожаловать в лог по обновлениям.
https://opencartforum.com/files/file/6362-simplepars-universalnyy-parser-dlya-im/?tab=changelog
Читаете все от вашей версии до последней. И внимательно.

К примеру в последний версиях был выпилен оператор {date} на его мето пришел новый {sdate} и если вы использовали этот оператор вам нужно поправить это в настройках. Вот такие мелочи нужно учитывать.