[Поддержка] SimplePars - Универсальный парсер для ИМ

[yurok79]

Здравствуйте, подскажите по ошибке. В логах c-panel файл размером 30 гб

PHP Warning:  fgets() expects parameter 1 to be resource, bool given in /home2/elitc90/public_html/******.com/admin/model/catalog/simplepars.php on line 12030
PHP Warning:  feof() expects parameter 1 to be resource, bool given in /home2/elitc90/public_html/*******.com/admin/model/catalog/simplepars.php on line 12029

[Rassol2]

19.06.2023 в 05:44, yurok79 сказал:

Здравствуйте, подскажите по ошибке. В логах c-panel файл размером 30 гб

PHP Warning:  fgets() expects parameter 1 to be resource, bool given in /home2/elitc90/public_html/******.com/admin/model/catalog/simplepars.php on line 12030
PHP Warning:  feof() expects parameter 1 to be resource, bool given in /home2/elitc90/public_html/*******.com/admin/model/catalog/simplepars.php on line 12029

Файл на 30 гб состояний с таких строк? 
 

[yurok79]

19.06.2023 в 13:52, Rassol2 сказал:

Файл на 30 гб состояний с таких строк? 
 

Да

Эти 2 строки дублируются

Утром файл удалил сейчас опять хостинг лег потому что файл снова 30 гб

[Rassol2]

За сутки 30 гб строк ? 
это что то невероятно. Давайте доступ я гляну конечно. 

[Axelenz]

19.06.2023 в 13:54, yurok79 сказал:

Утром файл удалил сейчас опять хостинг лег потому что файл снова 30 гб

А в редакторе делали автоматическую очистку логов ? Но такой размер чтобы сколотить... это ж сколько нужно модулю парсить ?

Змінено 19 червня 2023 користувачем Axelenz

[Rassol2]

Почему меня это так удивляет.
Поскольку php язык "сигнального типа" вызвал скрипт он отработал и завершился.
И вот при вызове что то происходит и записывается ошибка.

Так вот к странности.
Эти две строки весят
317 байт
А в 30 гигабайтах вмешается Байт.
32212254720
И если поделить одно на другое то получится примерно вот столько повторений записи.
32212254720 % 317 = 101 615 945
А если учитывать что лог пишется после запуска и остановки скрипта, то за это время модуль был дернут.
101 615 945

Это значит что модуль кто то запускал 101 миллион раз за время после удаления.
Даже если представить что выполняется крон по кругу.
И выполнение каждую. секунду. То в сутках всего
24*60*60 = 86400сек.
И даже если представить что в секунду модуль парсит страницу в которой у вас 100 фото а ошибка связана с открытием файла на диске, значит скорее всего модуль хочет что то сохранить на диск, тут скорее всего дело в изображении или в записи лога. Но поскольку лог открытие одно, то скорее всего вопрос будет с фото.
Так вот если представить что парсится
86400 товаров, нет даже не товаров а раз, по 5 потоков тоесть в секунду пят товаров и того 432 000 товаров в сутки.
И в каждом товаре по 100 фото, и того наберется всего 43 миллиона записи что в половину меньше вашего.
При этом то что я написал 99.99999999999% нереально.

Короче очень странно.

[richman3338]

И так, есть задача которую понять не можем.

 

Список категорий которые мы парсим:

!========== Повторение [№1] ========= Разделитель [{csvnc}] ========== !

Ручний інструмент

!========== Повторение [№2] ========= Разделитель [{csvnc}] ========== !

Генератори

!========== Повторение [№3] ========= Разделитель [{csvnc}] ========== !

Инверторние Генератори

То есть по сути парсер правильно все делает, все мне подходит, но! Мне нужно подстроить под свои категории:

Генератори > Инверторние генераторі

У поставщщика в Ручном инструменте очень много категорий  и подкатегорий... не суть.... 

 

Поиск замена віглядит вот так:

 

Насоси та насосне обладнання|Все для саду
Ручний інструмент{csvnc}Генератори{csvnc}Инверторние генератори|Генератори{csvnc}Инверторние генератори

Но на выходе мы получаем категории без правила замены:

Ручний інструмент{csvnc}Генератори{csvnc}Инверторние генератори

Как же сделать так чтобы нужные мне категории попадали в нужные мне категории?)

Или по другому: Как правильно тут работать с разделителем? Ибо часто нужно будет из 4х уровней категорий сделать тупо 2 уровня допустим...

Змінено 25 червня 2023 користувачем richman3338

[Axelenz]

25.06.2023 в 23:08, richman3338 сказал:

Как же сделать так чтобы нужные мне категории попадали в нужные мне категории?)

Тут вопрос не по работе модуля, а в понимании логики...

 

Цитата

Ручний інструмент{csvnc}Генератори{csvnc}Инверторние генератори|Генератори{csvnc}Инверторние генератори

 

Очевидно Вы эту замену вставляете в повторяющиеся границы.

Змінено 26 червня 2023 користувачем Axelenz

[partshez]

25.06.2023 в 23:08, richman3338 сказал:

И так, есть задача которую понять не можем.

 

Список категорий которые мы парсим:

!========== Повторение [№1] ========= Разделитель [{csvnc}] ========== !

Ручний інструмент

!========== Повторение [№2] ========= Разделитель [{csvnc}] ========== !

Генератори

!========== Повторение [№3] ========= Разделитель [{csvnc}] ========== !

Инверторние Генератори

То есть по сути парсер правильно все делает, все мне подходит, но! Мне нужно подстроить под свои категории:

Генератори > Инверторние генераторі

У поставщщика в Ручном инструменте очень много категорий  и подкатегорий... не суть.... 

 

Поиск замена віглядит вот так:

 

Насоси та насосне обладнання|Все для саду
Ручний інструмент{csvnc}Генератори{csvnc}Инверторние генератори|Генератори{csvnc}Инверторние генератори

Но на выходе мы получаем категории без правила замены:

Ручний інструмент{csvnc}Генератори{csvnc}Инверторние генератори

Как же сделать так чтобы нужные мне категории попадали в нужные мне категории?)

Или по другому: Как правильно тут работать с разделителем? Ибо часто нужно будет из 4х уровней категорий сделать тупо 2 уровня допустим...

Создаем обычную границу. Граница категорий. В ней создаем повторяющуюся- Категории. Действия, которые необходимы Вам, выполняем в обычной границе

[Rassol2]

25.06.2023 в 15:08, richman3338 сказал:

И так, есть задача которую понять не можем.

 

Список категорий которые мы парсим:

!========== Повторение [№1] ========= Разделитель [{csvnc}] ========== !

Ручний інструмент

!========== Повторение [№2] ========= Разделитель [{csvnc}] ========== !

Генератори

!========== Повторение [№3] ========= Разделитель [{csvnc}] ========== !

Инверторние Генератори

То есть по сути парсер правильно все делает, все мне подходит, но! Мне нужно подстроить под свои категории:

Генератори > Инверторние генераторі

У поставщщика в Ручном инструменте очень много категорий  и подкатегорий... не суть.... 

 

Поиск замена віглядит вот так:

 

Насоси та насосне обладнання|Все для саду
Ручний інструмент{csvnc}Генератори{csvnc}Инверторние генератори|Генератори{csvnc}Инверторние генератори

Но на выходе мы получаем категории без правила замены:

Ручний інструмент{csvnc}Генератори{csvnc}Инверторние генератори

Как же сделать так чтобы нужные мне категории попадали в нужные мне категории?)

Или по другому: Как правильно тут работать с разделителем? Ибо часто нужно будет из 4х уровней категорий сделать тупо 2 уровня допустим...

Вы забываете что все правила поиск замены применяются к каждому повторению. После этого результат каждых покторений склеивается с разделителем  выводится.
Если вы хотите применить правила ко всех структуре категорий то вам нужно делать получить категории через обычную границу парсинга,и через поиск замену повставлять туда {csvnc} и после этого дописать последними правилами замену как у вас указано в примере.

[Vetlucky777]

Добрый день

подскажите с помощью этого модуля возможно спарсить курс валют с сайта minfin.com.ua, загрузить в таблицу oc_currency и обновлять по расписанию? 

[Rassol2]

26.06.2023 в 07:41, Vetlucky777 сказал:

Добрый день

подскажите с помощью этого модуля возможно спарсить курс валют с сайта minfin.com.ua, загрузить в таблицу oc_currency и обновлять по расписанию? 

Здравствуйте.
Да такое возможно организовать но не через встроенный функционал а через дополнительную возможность собственных скриптов.
Но если нужно только это, то проше сделать скрипт на пару и запускать его напрямую с крона.

[Vetlucky777]

Подскажите, возможно сделать так?

Товар буду загружать через xml, один xml, одна структура категорий, id.

Первый раз загрузить товар, создать категории.

Дальше каждый день по крону обновлять остатки, цены и если в xml есть новый товар, чтоб он автоматически добавлялся в нужную категорию.

Так возможно сделать, чтоб работал в режиме обновление и добавление нового?

[Axelenz]

29.06.2023 в 13:00, Vetlucky777 сказал:

Так возможно сделать, чтоб работал в режиме обновление и добавление нового?

Во вкладке Парсинг в ИМ есть окошко Действие, там выбрать Добавлять и обновлять.

 

Цитата

автоматически добавлялся в нужную категорию

Это Вы написали не конкретно... Создавать категории такие же, как у донора - это одно, перебрасывать с категории донора в свои категории - это совершенно другое... Если у Вас один поставщик и с категориями ничего не делаете, используете категории поставщика, то нет проблем.

Змінено 29 червня 2023 користувачем Axelenz

[Vetlucky777]

29.06.2023 в 13:05, Axelenz сказал:

Если у Вас один поставщик и с категориями ничего не делаете, используете категории поставщика, то нет проблем.

понял, спасибо.

дело в том что поставщик это я) 

нужно будет по xml загружать и обновлять товар с 1С (я против использования 1С в Украине, но партнеры еще продолжают работать так) 

 

[KeepReptiloid]

https://prnt.sc/-x-e9e2ZWIlr
После обновления парсера, изменилось то что на скрине, оно больше не показывает информацию. И собственно не парсит. Подскажите что может быть не так?

[Rassol2]

29.06.2023 в 06:20, KeepReptiloid сказал:

https://prnt.sc/-x-e9e2ZWIlr
После обновления парсера, изменилось то что на скрине, оно больше не показывает информацию. И собственно не парсит. Подскажите что может быть не так?

Здравствуйте.

Я не вижу вас в списке покупателей, напишите мне в лс номер заказа. И данные для подключения к вашему сайту и я все проверю.

[iiaxah199rus]

Здравствуйте. Подскажите, пожалуйста, у меня установлен модуль HPM. Но, при выборе парсинга в ИМ, в опциях не активен выбор парсинга изображений с модулем HPM.

Версия HPM 2.1.4.

Как мне спарсить опции с изображениями, чтобы HPM их корректно спарсил?

 

[Rassol2]

02.07.2023 в 08:31, iiaxah199rus сказал:

Здравствуйте. Подскажите, пожалуйста, у меня установлен модуль HPM. Но, при выборе парсинга в ИМ, в опциях не активен выбор парсинга изображений с модулем HPM.

Версия HPM 2.1.4.

Как мне спарсить опции с изображениями, чтобы HPM их корректно спарсил?

Здравтвуйте

Я не вижу вас в списке покупателей модуля.
Напишите мне в ЛС номер заказа где вы приобретали модуль.

[Rassol2]

@iiaxah199rus
И скришоты луче прятать под спойлер, это повышает читаемость ветки.

[richman3338]

а что делать когда донор отдает 404?

1. HTTP/1.1 404 Not Found
   Connection: Keep-Alive
   Keep-Alive: timeout=5, max=100
   x-powered-by: PHP/7.2.34
   set-cookie: OCSESSID=1c38acb7e326a3928255a260be; path=/; secure
   set-cookie: language=uk-ua; expires=Tue, 01-Aug-2023 17:58:59 GMT; Max-Age=2592000; path=/; domain=wizard-technics.com; secure
   set-cookie: currency=UAH; expires=Tue, 01-Aug-2023 17:58:59 GMT; Max-Age=2592000; path=/; domain=wizard-technics.com; secure
   content-type: text/html; charset=utf-8
   transfer-encoding: chunked
   content-encoding: br
   vary: Accept-Encoding
   date: Sun, 02 Jul 2023 17:58:59 GMT
   server: LiteSpeed
   alt-svc: h3=":443"; ma=2592000, h3-29=":443"; ma=2592000, h3-Q050=":443"; ma=2592000, h3-Q046=":443"; ma=2592000, h3-Q043=":443"; ma=2592000, quic=":443"; ma=2592000; v="43,46"

   и при этом ссылка прогружается и все работает.

[partshez]

02.07.2023 в 21:06, richman3338 сказал:

а что делать когда донор отдает 404?

1. HTTP/1.1 404 Not Found
   Connection: Keep-Alive
   Keep-Alive: timeout=5, max=100
   x-powered-by: PHP/7.2.34
   set-cookie: OCSESSID=1c38acb7e326a3928255a260be; path=/; secure
   set-cookie: language=uk-ua; expires=Tue, 01-Aug-2023 17:58:59 GMT; Max-Age=2592000; path=/; domain=wizard-technics.com; secure
   set-cookie: currency=UAH; expires=Tue, 01-Aug-2023 17:58:59 GMT; Max-Age=2592000; path=/; domain=wizard-technics.com; secure
   content-type: text/html; charset=utf-8
   transfer-encoding: chunked
   content-encoding: br
   vary: Accept-Encoding
   date: Sun, 02 Jul 2023 17:58:59 GMT
   server: LiteSpeed
   alt-svc: h3=":443"; ma=2592000, h3-29=":443"; ma=2592000, h3-Q050=":443"; ma=2592000, h3-Q046=":443"; ma=2592000, h3-Q043=":443"; ma=2592000, quic=":443"; ma=2592000; v="43,46"

   и при этом ссылка прогружается и все работает.

Искать решение здесь https://simplepars.top/index.php?page=notes&tag_id=21

[EvgeniyGrin]

Добрый день. Подскажите как обойти 403 ошибку. Прокси? Куки? Буду благодарен за информацию.
 

1. <html>
2. <head><title>403 Forbidden</title></head>
3. <body>
4. <center><h1>403 Forbidden</h1></center>
5. <hr><center>nginx/1.19.2</center>
6. </body>
7. </html>

[partshez]

03.07.2023 в 15:11, EvgeniyGrin сказал:

Добрый день. Подскажите как обойти 403 ошибку. Прокси? Куки? Буду благодарен за информацию.
 

1. <html>
2. <head><title>403 Forbidden</title></head>
3. <body>
4. <center><h1>403 Forbidden</h1></center>
5. <hr><center>nginx/1.19.2</center>
6. </body>
7. </html>

Искать решение здесь https://simplepars.top/index.php?page=notes&tag_id=21

[Vetlucky777]

подскажите, на счет cron на сайте, возможно выставить чтоб обновления были точно в определенное время, например в 18.30 ?

со своего хмл обновляю и добавляю, процесс проходит быстро, сразу после парсинга хочу запускать по cron копирование атрибутов в OCFilter и групировку KIT SERIES, чтоб обновлялись строго после simplepars.

сейчас время стоит С 19 до 20ч может в любой момент запуститься или сразу в 19,00?

 

правильно сделал? чтоб на будущее знать.

мне нужен режим обновлять и добавлять

в планировщике выбрал обработчик хмл (порядок выполнения 1) 

Парсинг в ИМ добавлять и обновлять  (порядок выполнения 2) 

по такому методу обновление и добавление прошло корректно.

Цитата