[Поддержка] SimplePars - Універсальний парсер для ІМ

[Toral]

Добрий вечір. 
Підкажіть будь ласка.
Налаштовую парсинг номенклатури через крон.

Збір посилань, якщо обрати не очищати посилання, то після запуску, до старих додадуться просто нові посилання?  В черзі на парсинг буде наприклад 1000/1100? І парсинг в ім просто додасть нові, вірно?

[partshez]

  В 12.11.2023 в 16:18, Toral сказав:

Добрий вечір. 
Підкажіть будь ласка.
Налаштовую парсинг номенклатури через крон.

Збір посилань, якщо обрати не очищати посилання, то після запуску, до старих додадуться просто нові посилання?  В черзі на парсинг буде наприклад 1000/1100? І парсинг в ім просто додасть нові, вірно?

Expand  

Верно, добавятся новые ссылки. Все ссылки будут обработаны заново при Парсинг в ИМ. Существующие товары обновятся, новые добавятся. В зависимости от настроек задания крон и Парсинг в ИМ в проекте

[Toral]

  В 12.11.2023 в 17:09, partshez сказав:

Верно, добавятся новые ссылки. Все ссылки будут обработаны заново при Парсинг в ИМ. Существующие товары обновятся, новые добавятся. В зависимости от настроек задания крон и Парсинг в ИМ в проекте

Expand  

Тобто можна вказати «Добавляти» і він не буде наново парсити в іМ всі посилання з нуля, а тільки нові так?

Бо оновлення цін йде по АПІ YMl

Тут також питання, кожного разу потрібно наново нарізати файл? Тобто в налаштуваннях обнуляю всі посилання?
Доречі, коли є Апі від постачальника все одно варто ставити затримку?

 

 

[partshez]

  В 12.11.2023 в 17:18, Toral сказав:

Тобто можна вказати «Добавляти» і він не буде наново парсити в іМ всі посилання з нуля, а тільки нові так?

Бо оновлення цін йде по АПІ YMl

Тут також питання, кожного разу потрібно наново нарізати файл? Тобто в налаштуваннях обнуляю всі посилання?
Доречі, коли є Апі від постачальника все одно варто ставити затримку?

 

 

Expand  

Проверит с нуля все ссылки. Но только добавит товар. Существующий обновлять не будет. Но ссылки обработает все

Змінено 12 листопада 2023 користувачем partshez

[yurok79]

Подскажите что может быть. Парсер отрабатывает 500 ссылок и дальше не идет. Ссылки собрал нормально, пробовал и с кешем и без кеша, менял потоки. Если руками включать и выключать добавляется по 5 товаров (5 потоков). В логах все нормально, просто строки перестают добавляться. ошибок нет.

[Axelenz]

  В 13.11.2023 в 16:14, yurok79 сказав:

Подскажите что может быть. Парсер отрабатывает 500 ссылок и дальше не идет. Ссылки собрал нормально, пробовал и с кешем и без кеша, менял потоки. Если руками включать и выключать добавляется по 5 товаров (5 потоков). В логах все нормально, просто строки перестают добавляться. ошибок нет.

Expand  

Как минимум - попробовать парсить не "по полной", а в один поток и с задержками...

[yurok79]

  В 13.11.2023 в 16:17, Axelenz сказав:

Как минимум - попробовать парсить не "по полной", а в один поток и с задержками...

Expand  

Не помогает от слова совсем. 500 и глухо

[nikoshot]

  В 28.02.2023 в 16:14, Rassol2 сказав:

Так вот пример скрипта по вашему запросу.

Все кому нужен пример скрипта на работу с кастомным полем в базе данных, запишите эту ссылку на память, и используйте этот пример для модернизации под другие поля.

 

<?php 
//ID границы парсинга откуда берем данные
$gran_id = 36;

//Получаем id товара
$pr_id = $script_data['permit']['add']['pr_id'];
if(empty($pr_id)){ $pr_id = $script_data['permit']['up']['pr_id']; }

//получаем значение границы. 
$value = $script_data['form']['script_gran'][$gran_id];
//Запрос на обновление.
$this->db->query("UPDATE `".DB_PREFIX."product` SET video = '".$this->db->escape($value)."' WHERE product_id =".(int)$pr_id);

?>

В данном скрипте происходит следующие.
Мы берем данные из границы парсинга {gran_36}
И отправляем запрос на обновления таблицы oc_product поля video в текущем товаре.

 

Expand  

Можно ли переделать этот срипт для обновления категорий..?

задача такая.. Нужно заполнить категории текстами с донора..

Т.е при парсинге товаров категории создались.. и теперь нужно скопировать текст и картинку от туда..

Что касается СЕО то так нужно...

Интересует сама задача..

[Rassol2]

  В 13.11.2023 в 17:19, yurok79 сказав:

Не помогает от слова совсем. 500 и глухо

Expand  

Вы уверены что нет ошибок ?
В логах php нет ничего ?
Просто так модуль не останавливается, значить есть ошибка проверьте лог ошибок php на присуцтвие ошибок в файлах simplepars.php

[Rassol2]

  В 13.11.2023 в 18:34, nikoshot сказав:

Можно ли переделать этот срипт для обновления категорий..?

задача такая.. Нужно заполнить категории текстами с донора..

Т.е при парсинге товаров категории создались.. и теперь нужно скопировать текст и картинку от туда..

Что касается СЕО то так нужно...

Интересует сама задача..

Expand  

Сделать можно все.
Но много вопросов и сложностей на пути.

Написать отдельный скрипт по выполнении парсинга данных для категорий и заполнения их можно но это не вопрос 5 минутной переделки скрипта. Это вопрос написания полноценного функционала где нужно решить множество глобальный вопросов.
На пример.
Есть категория Штаны.
Она есть в категории Женское и в категории Мужское.
Как нам правильно определить и загрузить данные именно в нужную категорию из двух.  И так далее.

[yurok79]

  В 13.11.2023 в 18:35, Rassol2 сказав:

Вы уверены что нет ошибок ?
В логах php нет ничего ?
Просто так модуль не останавливается, значить есть ошибка проверьте лог ошибок php на присуцтвие ошибок в файлах simplepars.php

Expand  

А где его смотреть?

 

Вот что понял, в логах 

2023-11-13 21:26:00| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://lido.ua/ua/kabel-proove-soft-silicone-type-c-24a-1m-chornii

2023-11-13 21:26:00| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://lido.ua/ua/trimach-v-mashinu-hoco-h12-fine-jade-ring-air-outlet-chornii

2023-11-13 21:26:00| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://lido.ua/ua/merezhevii-zariadnii-pristrii-proove-silicone-power-plus-30w-type-cusb-chornii

2023-11-13 21:26:00| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://lido.ua/ua/trimach-v-mashinu-proove-strong-magnetic-air-outlet-car-mount-chornii

 

 

Страницу грузит, но товар не добавляет, хотя этот же товар открывается нормально в предпросмотре. Настройки все нормальные, не один десяток сайтов спарсил.

Змінено 13 листопада 2023 користувачем yurok79

[Rassol2]

  В 13.11.2023 в 19:23, yurok79 сказав:

А где его смотреть?

Expand  

Можно тут.
 

  Показати вміст

Если у вас есть другие настройки можете в файлах лога сервера.
Зачастую такие бывают с именем errors в корне сайта или в админке.

[yurok79]

  В 13.11.2023 в 19:26, Rassol2 сказав:

Можно тут.

Expand  

2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Warning:  Use of undefined constant php - assumed 'php' (this will throw an Error in a future version of PHP) in /home/fs396292/*****.com.ua/www/catalog/view/theme/default/template/common/language.tpl on line 7

 

Вот такое сыпет

Змінено 13 листопада 2023 користувачем yurok79

[Rassol2]

  В 13.11.2023 в 19:29, yurok79 сказав:

2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Warning:  Use of undefined constant php - assumed 'php' (this will throw an Error in a future version of PHP) in /home/fs396292/*****.com.ua/www/catalog/view/theme/default/template/common/language.tpl on line 7

 

Вот такое сыпет

Expand  

Нас интересует ошибки которые в файле с именем simplepars.php

[yurok79]

Таких нет, но как парсер включаю эти насыпает. Может как то влияет?

Змінено 13 листопада 2023 користувачем yurok79

[Rassol2]

  В 13.11.2023 в 19:33, yurok79 сказав:

Таких нет, но как парсер включаю эти насыпает. Может как то влияет?

Expand  

Это насыпает не потому что включаете парсер. Там нет ни какой связи.
Нажмите старт парсинг откройте консоль браузера и посмотрите будет ли в ней ошибки.
 

[yurok79]

  В 13.11.2023 в 19:36, Rassol2 сказав:

Это насыпает не потому что включаете парсер. Там нет ни какой связи.
Нажмите старт парсинг откройте консоль браузера и посмотрите будет ли в ней ошибки.
 

Expand  

https://prnt.sc/zS-XEtptSwEJ и висит

Змінено 13 листопада 2023 користувачем yurok79

[Rassol2]

  В 13.11.2023 в 19:39, yurok79 сказав:

https://prnt.sc/zS-XEtptSwEJ и висит

Expand  

Вот видно что у вас есть проблема на хосте, но осталось напйти где лог в котором написана прчина.
Пришлите в лс, доступ к фтп и админку и я проверю где то.

А так же это всех косаеться.
Разбранитесь где у вас на хостинге логи, логи нужны что бы решить проблему,
Без логов ни как не узнать прчины. Изучите где и как хранятся логи ошибок и запросов, было бы неплохо.

[yurok79]

  В 13.11.2023 в 19:43, Rassol2 сказав:

Вот видно что у вас есть проблема на хосте, но осталось напйти где лог в котором написана прчина.
Пришлите в лс, доступ к фтп и админку и я проверю где то.

А так же это всех косаеться.
Разбранитесь где у вас на хостинге логи, логи нужны что бы решить проблему,
Без логов ни как не узнать прчины. Изучите где и как хранятся логи ошибок и запросов, было бы неплохо.

Expand  

Проблема в том что сайт клиентский и есть только админка, запросил ФТП, отпишу в личку.

[Rassol2]

  В 13.11.2023 в 19:47, yurok79 сказав:

Проблема в том что сайт клиентский и есть только админка, запросил ФТП, отпишу в личку.

Expand  

У вас ошибка в базе данных.
 

  Показати вміст

Скорее всего вы достигли максимального значения автоинкремента. Либо кто то вносил кривые правки в стандартную базу данных. В таблицу oc_product
Исправьте ошибку базы данных и все заработает.
Без исправления вы не сможете создавать новые товары.

[Rassol2]

@yurok79 Навсякий случая опишу.
У вас скорее всего стоит стандартная настройка базы данных и в таблице oc_product в поле product_id стоит тип поля int и значение 11 символов. Автоинкремент.
Как и должно быть. В принцем.
У этого поля максимальное значение. 2,147,483,647
Больше создать невозможно.
Я не знаю как вы добрались до этого значения но тут нужно либо удалить лишние записи, либо поправить базу что бы она пересчитала значения автоинкремента если их реально меньше.
 

Но в любом случаи тут вопрос к базе данных а не к модулю. Он посылает запрос создать товар, база отвечает сорян не сегодня. И все крашится.

[yurok79]

  В 13.11.2023 в 20:29, Rassol2 сказав:

У этого поля максимальное значение. 2,147,483,647
Больше создать невозможно.
Я не знаю как вы добрались до этого значения но тут нужно либо удалить лишние записи, либо поправить базу что бы она пересчитала значения автоинкремента если их реально 

Expand  

А нельзя указать больше символов или как пересчитать их не подскажете?

[Rassol2]

  В 14.11.2023 в 04:34, yurok79 сказав:

А нельзя указать больше символов или как пересчитать их не подскажете?

Expand  

Нет. Тут нужно разбираться в причине. Я не верю что у вас закончились идентификаторы потому что много товаров было. 
это больше двух миллиардов. 
разбирайтесь в причинах и сбрасуйте идентификаторы. Это нездоровая ситуация

[Axelenz]

  В 14.11.2023 в 06:09, Rassol2 сказав:

закончились идентификаторы потому что много товаров было.

Expand  

2 147 483 647

Чтобы понять эту цифру...

Предположим, что сайту около 20 лет (примерное время появления Opencart).

Тогда, чтобы забить идентификатор, необходимо в течении 20 лет ежедневно (365 дней в году) парсить примерно по 300 000 товаров... 

[yurok79]

  В 14.11.2023 в 06:09, Rassol2 сказав:

Нет. Тут нужно разбираться в причине. Я не верю что у вас закончились идентификаторы потому что много товаров было. 
это больше двух миллиардов. 
разбирайтесь в причинах и сбрасуйте идентификаторы. Это нездоровая ситуация

Expand  

Это решили, парсинг пошел, но вылезло другое. Категории создаются, но в товарах не прописываются. То есть получаются товары без категорий и пустое дерево категорий.