[Поддержка] SimplePars - Универсальный парсер для ИМ

[climatyuga]

33 минуты назад, Rassol2 сказал:

@climatyuga а вот вариант для "простых смертных" которые знают только про существование одного оператора {skip}

  Показать контент

Просто вырезаем все после пробела, и заменяем на {g-stop}

Спойлер

правило для простых "смертных работает", только если в тесте одна эта стока, если в подготовленном тексте, то удалит слишком много, правило "не для смертных" работае, спасибо, но только если присутствует одно слово до пробела, если несколько, то удалит все после первого пробела.

выход придумал, не зная на сколько правильный, но для обычных смертных , думаю , думаю пойдет)

Блок внутренний|Блоквнутренний
Блок наружный|Блокнаружный
{g-start}{skip} {skip}{g-stop}|{g-start}$1{g-stop}
Блоквнутренний|Блок внутренний
Блокнаружный|Блок наружный

 

[Rassol2]

2 минуты назад, climatyuga сказал:

  Скрыть контент

правило для простых "смертных работает", только если в тесте одна эта стока, если в подготовленном тексте, то удалит слишком много, правило "не для смертных" работае, спасибо, но только если присутствует одно слово до пробела, если несколько, то удалит все после первого пробела.

выход придумал, не зная на сколько правильный, но для обычных смертных , думаю , думаю пойдет)

Блок внутренний|Блоквнутренний
Блок наружный|Блокнаружный
{g-start}{skip} {skip}{g-stop}|{g-start}$1{g-stop}
Блоквнутренний|Блок внутренний
Блокнаружный|Блок наружный

 

Эмм. 
Как то странно обсуждать решение задачи под другие условия. Была бы другая задача было бы другое решение. 

[Denis8585]

5 часов назад, Rassol2 сказал:

Зачем вы опять подымаете тему.

Потому-что не работает через крон. И понимания почему как на было так и нет. Бросить теперь и забыть не хочется.

 

5 часов назад, Rassol2 сказал:

в логах у вас база данных периодически падает.

Это не база падает, а ошибка была при работе другого скрипта. В совершенно другое время. Да и исправлена уже. На момент Вашей проработки ничего не падало. И у вас ведь тоже запустить не получилось вручную. Вы спросили лог ошибок, но их же несколько. В какой из них должна была ошибка записаться, если была?

 

5 часов назад, Rassol2 сказал:

крон хостинга, или вы сами будете пытаться запустить и получать в ответ что идет выполнение и оно закончится через 4 минут, затем 3минуты. И так пока не закончится 5 минут. Тогда модуль сам снимет метку и начнется выполнение следующей партии.
Так сказать один заход в 5 минут.

Ничего вам не напоминает ?

Модуль не запускает повторно вообще!!! Делает 5 товаров и хоть неделю жди, больше не сделает. Со вчера задача висит, как в начале спарсила 15 ссылок за первый запрос так и все.

5 часов назад, Rassol2 сказал:

тоже не было ошибок в файлах simplepars

Но что база отваливается вы ведь говорите.

При этом есть другие задачи крона, ошибок никаких.

 

5 часов назад, Rassol2 сказал:

Но к примеру хостинг где разница между временем базы данных и временем веб сервера составляет 4 часа это не очень хорошо. Я бы даже сказал очень плохо.
Но хуже всего что эту разницу они не исправляют а вы идете компенсировать разницу времени в скрипт.

Эту разницу давно поправили и время везде единое. И вчера же у вас спрашивал, теоретически может это влиять? И Вы написали что это никаким образом не касается данного вопроса.

[Rassol2]

12 минут назад, Denis8585 сказал:

Это не база падает, а ошибка была при работе другого скрипта. В совершенно другое время. Да и исправлена уже. На момент Вашей проработки ничего не падало. И у вас ведь тоже запустить не получилось вручную. Вы спросили лог ошибок, но их же несколько. В какой из них должна была ошибка записаться, если была?

Любой лог с ошибками, но их нет.
 

 

12 минут назад, Denis8585 сказал:

Модуль не запускает повторно вообще!!! Делает 5 товаров и хоть неделю жди, больше не сделает. Со вчера задача висит, как в начале спарсила 15 ссылок за первый запрос так и все.

Пишите хостеру спрашивайте почему у него не работает крон, потому что именно он должен дергать каждую минуту, и если модуль поставить паузу в пять 5 минут, то после 5 минут очередной запрос крона хостинга запустит процесс. Или будет ошибка в логах.
Если ошибки нет, процесс не пошел значит никто ничего не дернул. Другого не дано.
 

12 минут назад, Denis8585 сказал:

Но что база отваливается вы ведь говорите.

При этом есть другие задачи крона, ошибок никаких.

и с моим модулем ошибок тоже нет. Я вам описал что именно происходит. Будут ошибки пишите с радость все проверю.

А то что процесс не идет я вам уже описал выше.

 

12 минут назад, Denis8585 сказал:

Эту разницу давно поправили и время везде единое. И вчера же у вас спрашивал, теоретически может это влиять? И Вы написали что это никаким образом не касается данного вопроса.

На работу моего модуля это не может влиять, но в целом показывает компетентность.

 

Пример.
К примеру вы пойдете в ресторан если будете знать что в этом ресторане одним блюдом стабильно травятся люди, из за некачественных продуктов.
При этом конкретно это блюдо вы не хотите есть.
Я не пойду потому что не доверяю. Вот тут так же.

Еше раз повторю, найдете логи с ошибками с радостью продолжу изучать ваш вопрос и искать в чем причина. А просто сидеть дергать скрипт не видя никаких ошибок и думать что тут не так, или сидеть в ветке модуля и гадать на кофейной гуще я не вижу смысла.

Дам подсказку может вам стоит где то на этом хостинге настроить что бы выводились все ошибки ? Хоть куда то.
 

[Denis8585]

17 минут назад, Rassol2 сказал:

Любой лог с ошибками, но их нет.
 

 

Пишите хостеру спрашивайте почему у него не работает крон, потому что именно он должен дергать каждую минуту, и если модуль поставить паузу в пять 5 минут, то после 5 минут очередной запрос крона хостинга запустит процесс. Или будет ошибка в логах.
Если ошибки нет, процесс не пошел значит никто ничего не дернул. Другого не дано.
 

и с моим модулем ошибок тоже нет. Я вам описал что именно происходит. Будут ошибки пишите с радость все проверю.

А то что процесс не идет я вам уже описал выше.

 

На работу моего модуля это не может влиять, но в целом показывает компетентность.

 

Пример.
К примеру вы пойдете в ресторан если будете знать что в этом ресторане одним блюдом стабильно травятся люди, из за некачественных продуктов.
При этом конкретно это блюдо вы не хотите есть.
Я не пойду потому что не доверяю. Вот тут так же.

Еше раз повторю, найдете логи с ошибками с радостью продолжу изучать ваш вопрос и искать в чем причина. А просто сидеть дергать скрипт не видя никаких ошибок и думать что тут не так, или сидеть в ветке модуля и гадать на кофейной гуще я не вижу смысла.

Дам подсказку может вам стоит где то на этом хостинге настроить что бы выводились все ошибки ? Хоть куда то.
 

Вот сейчас снова тестируется. Хостер решил вопрос со временем. И крон дергает задачу. Парсится 5 товаров. То есть он вполне работает. Но раз в пять минут только срабатывает. Так как после первого запуска крон пишет что задача выполняется и бан 5 минут. Это для него вроде нормально. Я у вас спрашивал, вы говорили, что модуль этот бан игнорирует и работу продолжит. Но нет.  Через 5 минут задача снова дергается кроном и парсится снова 5 товаров. Хотя модуль в этот промежуток должен был продолжать работу. Но не продолжает. Отключение же данной блокировки в 5 минут прописано в коде модуля, но оно не срабатывает. Таким образом, нет сложностей: не запускается или возникают ошибки.

Сложность в том, что парсится 5 товаров в 5 минут.

[Denis8585]

1 минуту назад, Denis8585 сказал:

Вот сейчас снова тестируется. Хостер решил вопрос со временем. И крон дергает задачу. Парсится 5 товаров. То есть он вполне работает. Но раз в пять минут только срабатывает. Так как после первого запуска крон пишет что задача выполняется и бан 5 минут. Это для него вроде нормально. Я у вас спрашивал, вы говорили, что модуль этот бан игнорирует и работу продолжит. Но нет.  Через 5 минут задача снова дергается кроном и парсится снова 5 товаров. Хотя модуль в этот промежуток должен был продолжать работу. Но не продолжает. Отключение же данной блокировки в 5 минут прописано в коде модуля, но оно не срабатывает. Таким образом, нет сложностей: не запускается или возникают ошибки.

Сложность в том, что парсится 5 товаров в 5 минут.

Грубо говоря:

модуль работает (запуск вручную и модуль парсит товары один за одним)

крон работает (при перезапуске задачи через модуль и незапуске вручную в указанное время задача запустится)

обход блокировки кроном не работает (и нет ошибок, так как никаких задач не выполняется, так как блокировка не обходится)

Причины этого и ищутся, никто же не говорит что модуль нерабочий. Но в данном случае какой-то конфликт при запуске задачи.

[Rassol2]

8 минут назад, Denis8585 сказал:

Вот сейчас снова тестируется. Хостер решил вопрос со временем. И крон дергает задачу. Парсится 5 товаров. То есть он вполне работает. Но раз в пять минут только срабатывает. Так как после первого запуска крон пишет что задача выполняется и бан 5 минут. Это для него вроде нормально. Я у вас спрашивал, вы говорили, что модуль этот бан игнорирует и работу продолжит. Но нет.  Через 5 минут задача снова дергается кроном и парсится снова 5 товаров. Хотя модуль в этот промежуток должен был продолжать работу. Но не продолжает. Отключение же данной блокировки в 5 минут прописано в коде модуля, но оно не срабатывает. Таким образом, нет сложностей: не запускается или возникают ошибки.

Сложность в том, что парсится 5 товаров в 5 минут.

Читайте что это такое в первом моем ответе, который я сегодня написал.
Я же там расписал всю логику как это работает, привел пример.

Давайте посмотрим на эту ситуацию под другим углом.

Я к вам заходил все проверял, тестировал, потратил тучу времени.
Ошибок нет, ни в логике модуля ни сбоев.
Предложил вам провести тест на другой площадке что бы исключить ошибки вашего хостинга.
Вы не хотите этого делать.
Пока не будет исключена причина вашего хостинга нет смысла сидеть и гадать.

Все что было в моих силах я проверил. Что еше от меня требуется ?

[Rassol2]

1 минуту назад, Denis8585 сказал:

Грубо говоря:

модуль работает (запуск вручную и модуль парсит товары один за одним)

крон работает (при перезапуске задачи через модуль и незапуске вручную в указанное время задача запустится)

обход блокировки кроном не работает (и нет ошибок, так как никаких задач не выполняется, так как блокировка не обходится)

Причины этого и ищутся, никто же не говорит что модуль нерабочий. Но в данном случае какой-то конфликт при запуске задачи.

В модуле нет блокировки крона, такого нет. А пауза в 5 минут это зашите от дурака. Как она работает описано выше, еше раз призываю вас к прочтению что бы вы сами себя не завели в тупик.

[Denis8585]

13 минут назад, Rassol2 сказал:

Читайте что это такое в первом моем ответе, который я сегодня написал.
Я же там расписал всю логику как это работает, привел пример.

Давайте загляним на эту ситуацию под другим уголом.

Я к вам заходил все проверял, тестировал, потратил тучу времени.
Ошибок нет, ни в логике модуля ни сбоев.
Предложил вам провести тест на другой площадке что бы исключить ошибки вашего хостинга.
Вы не хотите этого делать.
Пока не будет исключена причина вашего хостинга нет смысла сидеть и гадать.

Все что было в моих силах я проверил. Что еше от меня требуется ?

«В любой непонятной ситуации - меняй хостинг»

Просто это нелегкая задача, которую можно делать ради лишь теста. Со стороны хостинга ошибок не видно, разница во времени решена, да и не должна была влиять. Да и сейчас все исправлено.

Говоря алегорически, выходит - дверной звонок не работает, надо в другой город переехать, посмотреть, работает ли там звонок. А не глянуть, не выбило ли пробки. Мне кажется, имеет смысл копнуть именно обход блокировки. Так как именно на этом этапе возникает проблема, которая тормошит работу. Сам же крон лишь сигнал подаёт, как выключатель. Остальное делает модуль. И получив сигнал, не делает, так как не может обойти блок. То есть зависит исключительно от выключателя с постоянным током, хотя работать должен от переменного.

Змінено 1 лютого 2022 користувачем Denis8585

[Rassol2]

9 минут назад, Denis8585 сказал:

Говоря алегорически, выходит - дверной звонок не работает, надо в другой город переехать, посмотреть, работает ли там звонок. А не глянуть, не выбило ли пробки. Мне кажется, имеет смысл копнуть именно обход блокировки. Так как именно на этом этапе возникает проблема, которая тормошит работу. Сам же крон лишь сигнал подаёт, как выключатель. Остальное делает модуль. И получив сигнал, не делает, так как не может обойти блок.

1) не существует блокировки. Нет такого понятия. Есть зашите от второго запуска и она срабатывает тогда когда процесс не завершился корректно. А значит что у вас корректно не завершается работа, где то ошибка, ошибка которую ваш хостинг не выплевывает.

2) а теперь говоря аллегорически вашим примером, приносите вы звонок в квартиру, такой же как у всех остальных. У всех работает у вас нет.
Завете производителя он приходит и тыкает во все розетки и действительно не работает. Ни в одну розетку. И он предлагаете может вынести в соседнюю квартиру и проверить там, у меня есть подозрение что у вас электричества нет. А вы такой, нет не в коем случаи давайте сидеть и придумывать почему он не работает.

Вы можете на локалке поставить все.
Вы можете на чистый движок на другом хостинге или локалке поставить магазин загрузить свой проект настроить крон и проверить. Но нет.

Ответе на конкретный вопрос.
Что требуется от меня?
 

[Denis8585]

18 минут назад, Rassol2 сказал:

В модуле нет блокировки крона, такого нет. А пауза в 5 минут это зашите от дурака. Как она работает описано выше, еше раз призываю вас к прочтению что бы вы сами себя не завели в тупик.

    Я неспециалист, поэтому просто кусков надергал, но видя их подумал что с блокировкой модуль все-же что-то делает.

//для минимальной задержки вставляю запись сюда.
    $this->cronUnbloking();

Из-за этого подумал, что сам модуль отменяет блокировку крона

//Получаем время сейчас что бы проверить не зависло ли значение.
        if( (time() - $main_cron['work']) > 300 ){ 
            $main_cron['work'] = 0;
        }else{
            echo "Запуск отменен, крон предполагает что один из процессов не завершен.<br>
            Если процесс парсинга не идет, а вы видите это сообщение, то возможно выполнение скрипта было остановлено аварийно.<br>
            Блокировка выполнение будет снята через <b style='color: #a94442;'>".gmdate("H:i:s", 300 - (time() - $main_cron['work']) ) ."</b>";

А из-за этого предполагал, что может быть дело в разнице со временем. Собственно, это сообщение я и получаю, пока модуль не парсит.

 

И тут еще одна странность, не зависящая от крона хостинга вообще.

Отключаю крон на хостинге полностью. Запускаю задачу вручную. Начинается выполнение. Все работает как надо, быстро, без блокировок.

Останавливаю задачу или перезапускаю в списке задач задание (рестарт) минут через 10, выждав эти пресловутые пять. Запускаю по прямой ссылке. 5 товаров и стоп!

Помните, вчера вы зашли и запустили вручную - все полетело. Я повторил ваши действия и не сработало. Вы попробовали повторить и тоже не получилось.

Сегодня я запустил вручную и тоже заработало. Несколько часов назад. Один раз. И после этого все новые попытки дают лишь одно обращение к донору и все. Ни блокировок хостинга, ни ошибок. Ничего. Тупо тишина.

[Rassol2]

@Denis8585 Я вижу что разговор в одностороннем порядке, по этому читать одно и тоже и писать одно и тоже смысла не вижу. Вопрос прежний.
Что требуется от меня ?

[Denis8585]

Только что, Rassol2 сказал:

@Denis8585 Я вижу что разговор в одностороннем порядке, по этому читать одно и тоже и писать одно и тоже смысла не вижу. Вопрос прежний.
Что требуется от меня ?

Мне казалось мы обмениваемся аргументацией.

Я в конце беседы привел, как мне кажется, важный пример.

Все сказанное вами я понял. А после уточнил. Надеялся на ответ.

[Rassol2]

1 минуту назад, Denis8585 сказал:

Надеялся на ответ.

Отвечаю, все проверил. Проблем не вижу не могу найти. Логов ошибок нет. Подозреваю что нужно пробовать на другой площадке, но чувствую вам это не интересно.
Чем то еше могу быть полезен ?

[climatyuga]

Только что, Rassol2 сказал:

Отвечаю, все проверил. Проблем не вижу не могу найти. Логов ошибок нет. Подозреваю что нужно пробовать на другой площадке, но чувствую вам это не интересно.
Чем то еше могу быть полезен ?

Можно еще маленький вопрос по использованию скрипта парсинга групп? Если выбрать при обновлении в товаре "удалять все атрибуты и заполнить заново", модуль не удаляет атрибуты, которые имеют ранее созданные группы, а просто добавляет новые с новыми группами. Это правильное поведение модуля?

[Denis8585]

5 минут назад, Rassol2 сказал:

Отвечаю, все проверил. Проблем не вижу не могу найти. Логов ошибок нет. Подозреваю что нужно пробовать на другой площадке, но чувствую вам это не интересно.
Чем то еше могу быть полезен ?

Подскажите, что вы думаете по поводу:

 

13 минут назад, Denis8585 сказал:

И тут еще одна странность, не зависящая от крона хостинга вообще.

Отключаю крон на хостинге полностью. Запускаю задачу вручную. Начинается выполнение. Все работает как надо, быстро, без блокировок.

Останавливаю задачу или перезапускаю в списке задач задание (рестарт) минут через 10, выждав эти пресловутые пять. Запускаю по прямой ссылке. 5 товаров и стоп!

Помните, вчера вы зашли и запустили вручную - все полетело. Я повторил ваши действия и не сработало. Вы попробовали повторить и тоже не получилось.

Сегодня я запустил вручную и тоже заработало. Несколько часов назад. Один раз. И после этого все новые попытки дают лишь одно обращение к донору и все. Ни блокировок хостинга, ни ошибок. Ничего. Тупо тишина.

Я безусловно запущу локально, раз это так необходимо. Я сейчас лишь пытаюсь понять логику описанных выше событий.

А то запущу я локально, заработает допустим, и с чем мне к хостеру пойти. «Там работает, у вас не работает». Нужно же будет хоть как-то пояснить, что где, за чем следует. Иначе мне как и вы они ответят. Ошибок нет, идите к автору модуля. Даже не скажут, а уже 100 раз говорили. Мечусь от вас к ним. Без какой-либо конкретики. Очевидно, что меня пинают все друг к другу.

[Rassol2]

1 минуту назад, climatyuga сказал:

Можно еще маленький вопрос по использованию скрипта парсинга групп? Если выбрать при обновлении в товаре "удалять все атрибуты и заполнить заново", модуль не удаляет атрибуты, которые имеют ранее созданные группы, а просто добавляет новые с новыми группами. Это правильное поведение модуля?

В опенкарте атрибуты состоят из двух частей.
Первая, сам список доступных атрибутов их групп.
Вторая это атрибуты в товаре, то есть опенкарте берет атрибут из списка и присваевает его товару, так же присваивает этому товару с этим атрибутом свое значение.
Так вот действие удалить и создать заново, касается именно удаления и создания заново атрибута в товаре.

 

Если вы хотите полностью всю структуру пересоздать, тогда вам нужно самими очистить всю базу атрибутов в вашем движке, так как у модуля нет таких полномочий.
Допустим вы моглти раньше создать атрибут и присвоить его 10 товарам вручную, затем спарсить еше 100 товаров.
Затем решили обновить атрибуты в 100 товарах и выбрали действие удалить и создать заново.
Согласитесь было бы досадно если бы модуль имел право снести атрибуты которые используются в 100 товарах от модуля и зацепить еше 10 товаров которые вручную создавались.

Так что эта настройка касается исключительно атрибутов в конкретных товарах что обновляются.

[Dimasscus]

1 минуту назад, Denis8585 сказал:

Подскажите, что вы думаете по поводу:

 

Я безусловно запущу локально, раз это так необходимо. Я сейчас лишь пытаюсь понять логику описанных выше событий.

А то запущу я локально, заработает допустим, и с чем мне к хостеру пойти. «Там работает, у вас не работает». Нужно же будет хоть как-то пояснить, что где, за чем следует. Иначе мне как и вы они ответят. Ошибок нет, идите к автору модуля. Даже не скажут, а уже 100 раз говорили. Мечусь от вас к ним. Без какой-либо конкретики. Очевидно, что меня пинают все друг к другу.

Вас донор по ip не банит случайно?:

[Rassol2]

1 минуту назад, Denis8585 сказал:

Подскажите, что вы думаете по поводу:

 

Я безусловно запущу локально, раз это так необходимо. Я сейчас лишь пытаюсь понять логику описанных выше событий.

А то запущу я локально, заработает допустим, и с чем мне к хостеру пойти. «Там работает, у вас не работает». Нужно же будет хоть как-то пояснить, что где, за чем следует. Иначе мне как и вы они ответят. Ошибок нет, идите к автору модуля. Даже не скажут, а уже 100 раз говорили. Мечусь от вас к ним. Без какой-либо конкретики. Очевидно, что меня пинают все друг к другу.

Я думаю что проблема в хостинге посходит ошибка, модуль не завершает работу корректно, хостинг не сообщает об это.
рекомендую поставить частый движок модуль на другой площадке и произвести тестирование.
Чем то еше могу быть полезен ?

[Rassol2]

2 минуты назад, Dimasscus сказал:

Вас донор по ip не банит случайно?:

Нет там бана, там где то ошибка но на хостинге в лаги нечего не пишется.
Если откинуть подозрение что запросы до базы не доходят.

[Dimasscus]

Только что, Rassol2 сказал:

Нет там бана, там где то ошибка но на хостинге в лаги нечего не пишется.
Если откинуть подозрение что запросы до базы не доходят.

А что за хостинг?

[Rassol2]

Только что, Dimasscus сказал:

А что за хостинг?

Этот вопрос не ко мне. Захочет пользователь сообщит. 

[Denis8585]

3 минуты назад, Dimasscus сказал:

Вас донор по ip не банит случайно?:

Нет. В ручную через модуль все отлично работает. Был донор, который после 5-ти запросов подряд банил, не стал играться, нашел другого донора.

[Denis8585]

5 минут назад, Rassol2 сказал:

Я думаю что проблема в хостинге посходит ошибка, модуль не завершает работу корректно, хостинг не сообщает об это.
рекомендую поставить частый движок модуль на другой площадке и произвести тестирование.
Чем то еше могу быть полезен ?

Ничем. Спасибо за помощь

Змінено 1 лютого 2022 користувачем Denis8585

[Denis8585]

12 часов назад, Dimasscus сказал:

А что за хостинг?

***.com