[Поддержка] SimplePars - Універсальний парсер для ІМ

[Toral]

Добрий вечір. 
Підкажіть будь ласка.
Налаштовую парсинг номенклатури через крон.

Збір посилань, якщо обрати не очищати посилання, то після запуску, до старих додадуться просто нові посилання?  В черзі на парсинг буде наприклад 1000/1100? І парсинг в ім просто додасть нові, вірно?

[partshez]

12.11.2023 в 18:18, Toral сказал:

Добрий вечір. 
Підкажіть будь ласка.
Налаштовую парсинг номенклатури через крон.

Збір посилань, якщо обрати не очищати посилання, то після запуску, до старих додадуться просто нові посилання?  В черзі на парсинг буде наприклад 1000/1100? І парсинг в ім просто додасть нові, вірно?

Верно, добавятся новые ссылки. Все ссылки будут обработаны заново при Парсинг в ИМ. Существующие товары обновятся, новые добавятся. В зависимости от настроек задания крон и Парсинг в ИМ в проекте

[Toral]

В 12.11.2023 в 19:09, partshez сказав:

Верно, добавятся новые ссылки. Все ссылки будут обработаны заново при Парсинг в ИМ. Существующие товары обновятся, новые добавятся. В зависимости от настроек задания крон и Парсинг в ИМ в проекте

Тобто можна вказати «Добавляти» і він не буде наново парсити в іМ всі посилання з нуля, а тільки нові так?

Бо оновлення цін йде по АПІ YMl

Тут також питання, кожного разу потрібно наново нарізати файл? Тобто в налаштуваннях обнуляю всі посилання?
Доречі, коли є Апі від постачальника все одно варто ставити затримку?

 

 

[partshez]

12.11.2023 в 19:18, Toral сказал:

Тобто можна вказати «Добавляти» і він не буде наново парсити в іМ всі посилання з нуля, а тільки нові так?

Бо оновлення цін йде по АПІ YMl

Тут також питання, кожного разу потрібно наново нарізати файл? Тобто в налаштуваннях обнуляю всі посилання?
Доречі, коли є Апі від постачальника все одно варто ставити затримку?

 

 

Проверит с нуля все ссылки. Но только добавит товар. Существующий обновлять не будет. Но ссылки обработает все

Змінено 12 листопада 2023 користувачем partshez

[yurok79]

Подскажите что может быть. Парсер отрабатывает 500 ссылок и дальше не идет. Ссылки собрал нормально, пробовал и с кешем и без кеша, менял потоки. Если руками включать и выключать добавляется по 5 товаров (5 потоков). В логах все нормально, просто строки перестают добавляться. ошибок нет.

[Axelenz]

13.11.2023 в 18:14, yurok79 сказал:

Подскажите что может быть. Парсер отрабатывает 500 ссылок и дальше не идет. Ссылки собрал нормально, пробовал и с кешем и без кеша, менял потоки. Если руками включать и выключать добавляется по 5 товаров (5 потоков). В логах все нормально, просто строки перестают добавляться. ошибок нет.

Как минимум - попробовать парсить не "по полной", а в один поток и с задержками...

[yurok79]

13.11.2023 в 18:17, Axelenz сказал:

Как минимум - попробовать парсить не "по полной", а в один поток и с задержками...

Не помогает от слова совсем. 500 и глухо

[nikoshot]

28.02.2023 в 17:14, Rassol2 сказал:

Так вот пример скрипта по вашему запросу.

Все кому нужен пример скрипта на работу с кастомным полем в базе данных, запишите эту ссылку на память, и используйте этот пример для модернизации под другие поля.

 

<?php 
//ID границы парсинга откуда берем данные
$gran_id = 36;

//Получаем id товара
$pr_id = $script_data['permit']['add']['pr_id'];
if(empty($pr_id)){ $pr_id = $script_data['permit']['up']['pr_id']; }

//получаем значение границы. 
$value = $script_data['form']['script_gran'][$gran_id];
//Запрос на обновление.
$this->db->query("UPDATE `".DB_PREFIX."product` SET video = '".$this->db->escape($value)."' WHERE product_id =".(int)$pr_id);

?>

В данном скрипте происходит следующие.
Мы берем данные из границы парсинга {gran_36}
И отправляем запрос на обновления таблицы oc_product поля video в текущем товаре.

 

Можно ли переделать этот срипт для обновления категорий..?

задача такая.. Нужно заполнить категории текстами с донора..

Т.е при парсинге товаров категории создались.. и теперь нужно скопировать текст и картинку от туда..

Что касается СЕО то так нужно...

Интересует сама задача..

[Rassol2]

13.11.2023 в 11:19, yurok79 сказал:

Не помогает от слова совсем. 500 и глухо

Вы уверены что нет ошибок ?
В логах php нет ничего ?
Просто так модуль не останавливается, значить есть ошибка проверьте лог ошибок php на присуцтвие ошибок в файлах simplepars.php

[Rassol2]

13.11.2023 в 12:34, nikoshot сказал:

Можно ли переделать этот срипт для обновления категорий..?

задача такая.. Нужно заполнить категории текстами с донора..

Т.е при парсинге товаров категории создались.. и теперь нужно скопировать текст и картинку от туда..

Что касается СЕО то так нужно...

Интересует сама задача..

Сделать можно все.
Но много вопросов и сложностей на пути.

Написать отдельный скрипт по выполнении парсинга данных для категорий и заполнения их можно но это не вопрос 5 минутной переделки скрипта. Это вопрос написания полноценного функционала где нужно решить множество глобальный вопросов.
На пример.
Есть категория Штаны.
Она есть в категории Женское и в категории Мужское.
Как нам правильно определить и загрузить данные именно в нужную категорию из двух.  И так далее.

[yurok79]

13.11.2023 в 20:35, Rassol2 сказал:

Вы уверены что нет ошибок ?
В логах php нет ничего ?
Просто так модуль не останавливается, значить есть ошибка проверьте лог ошибок php на присуцтвие ошибок в файлах simplepars.php

А где его смотреть?

 

Вот что понял, в логах 

2023-11-13 21:26:00| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://lido.ua/ua/kabel-proove-soft-silicone-type-c-24a-1m-chornii

2023-11-13 21:26:00| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://lido.ua/ua/trimach-v-mashinu-hoco-h12-fine-jade-ring-air-outlet-chornii

2023-11-13 21:26:00| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://lido.ua/ua/merezhevii-zariadnii-pristrii-proove-silicone-power-plus-30w-type-cusb-chornii

2023-11-13 21:26:00| Парсинг : УСПЕШНЫЙ ЗАПРОС  | Код ответа [200] Ссылка | https://lido.ua/ua/trimach-v-mashinu-proove-strong-magnetic-air-outlet-car-mount-chornii

 

 

Страницу грузит, но товар не добавляет, хотя этот же товар открывается нормально в предпросмотре. Настройки все нормальные, не один десяток сайтов спарсил.

Змінено 13 листопада 2023 користувачем yurok79

[Rassol2]

13.11.2023 в 13:23, yurok79 сказал:

А где его смотреть?

Можно тут.
 

Скрытый текст

Если у вас есть другие настройки можете в файлах лога сервера.
Зачастую такие бывают с именем errors в корне сайта или в админке.

[yurok79]

13.11.2023 в 21:26, Rassol2 сказал:

Можно тут.

2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Warning:  Use of undefined constant php - assumed 'php' (this will throw an Error in a future version of PHP) in /home/fs396292/*****.com.ua/www/catalog/view/theme/default/template/common/language.tpl on line 7

 

Вот такое сыпет

Змінено 13 листопада 2023 користувачем yurok79

[Rassol2]

13.11.2023 в 13:29, yurok79 сказал:

2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Notice:  unserialize(): Error at offset 0 of 1 bytes in /home/fs396292/jakor24.com.ua/www/catalog/model/catalog/product.php on line 15
2023-11-13 21:28:18 - PHP Warning:  Use of undefined constant php - assumed 'php' (this will throw an Error in a future version of PHP) in /home/fs396292/*****.com.ua/www/catalog/view/theme/default/template/common/language.tpl on line 7

 

Вот такое сыпет

Нас интересует ошибки которые в файле с именем simplepars.php

[yurok79]

Таких нет, но как парсер включаю эти насыпает. Может как то влияет?

Змінено 13 листопада 2023 користувачем yurok79

[Rassol2]

13.11.2023 в 13:33, yurok79 сказал:

Таких нет, но как парсер включаю эти насыпает. Может как то влияет?

Это насыпает не потому что включаете парсер. Там нет ни какой связи.
Нажмите старт парсинг откройте консоль браузера и посмотрите будет ли в ней ошибки.
 

[yurok79]

13.11.2023 в 21:36, Rassol2 сказал:

Это насыпает не потому что включаете парсер. Там нет ни какой связи.
Нажмите старт парсинг откройте консоль браузера и посмотрите будет ли в ней ошибки.
 

https://prnt.sc/zS-XEtptSwEJ и висит

Змінено 13 листопада 2023 користувачем yurok79

[Rassol2]

13.11.2023 в 13:39, yurok79 сказал:

https://prnt.sc/zS-XEtptSwEJ и висит

Вот видно что у вас есть проблема на хосте, но осталось напйти где лог в котором написана прчина.
Пришлите в лс, доступ к фтп и админку и я проверю где то.

А так же это всех косаеться.
Разбранитесь где у вас на хостинге логи, логи нужны что бы решить проблему,
Без логов ни как не узнать прчины. Изучите где и как хранятся логи ошибок и запросов, было бы неплохо.

[yurok79]

13.11.2023 в 21:43, Rassol2 сказал:

Вот видно что у вас есть проблема на хосте, но осталось напйти где лог в котором написана прчина.
Пришлите в лс, доступ к фтп и админку и я проверю где то.

А так же это всех косаеться.
Разбранитесь где у вас на хостинге логи, логи нужны что бы решить проблему,
Без логов ни как не узнать прчины. Изучите где и как хранятся логи ошибок и запросов, было бы неплохо.

Проблема в том что сайт клиентский и есть только админка, запросил ФТП, отпишу в личку.

[Rassol2]

13.11.2023 в 13:47, yurok79 сказал:

Проблема в том что сайт клиентский и есть только админка, запросил ФТП, отпишу в личку.

У вас ошибка в базе данных.
 

Скрытый текст

Скорее всего вы достигли максимального значения автоинкремента. Либо кто то вносил кривые правки в стандартную базу данных. В таблицу oc_product
Исправьте ошибку базы данных и все заработает.
Без исправления вы не сможете создавать новые товары.

[Rassol2]

@yurok79 Навсякий случая опишу.
У вас скорее всего стоит стандартная настройка базы данных и в таблице oc_product в поле product_id стоит тип поля int и значение 11 символов. Автоинкремент.
Как и должно быть. В принцем.
У этого поля максимальное значение. 2,147,483,647
Больше создать невозможно.
Я не знаю как вы добрались до этого значения но тут нужно либо удалить лишние записи, либо поправить базу что бы она пересчитала значения автоинкремента если их реально меньше.
 

Но в любом случаи тут вопрос к базе данных а не к модулю. Он посылает запрос создать товар, база отвечает сорян не сегодня. И все крашится.

[yurok79]

13.11.2023 в 22:29, Rassol2 сказал:

У этого поля максимальное значение. 2,147,483,647
Больше создать невозможно.
Я не знаю как вы добрались до этого значения но тут нужно либо удалить лишние записи, либо поправить базу что бы она пересчитала значения автоинкремента если их реально 

А нельзя указать больше символов или как пересчитать их не подскажете?

[Rassol2]

13.11.2023 в 22:34, yurok79 сказал:

А нельзя указать больше символов или как пересчитать их не подскажете?

Нет. Тут нужно разбираться в причине. Я не верю что у вас закончились идентификаторы потому что много товаров было. 
это больше двух миллиардов. 
разбирайтесь в причинах и сбрасуйте идентификаторы. Это нездоровая ситуация

[Axelenz]

14.11.2023 в 08:09, Rassol2 сказал:

закончились идентификаторы потому что много товаров было.

2 147 483 647

Чтобы понять эту цифру...

Предположим, что сайту около 20 лет (примерное время появления Opencart).

Тогда, чтобы забить идентификатор, необходимо в течении 20 лет ежедневно (365 дней в году) парсить примерно по 300 000 товаров... 

[yurok79]

14.11.2023 в 08:09, Rassol2 сказал:

Нет. Тут нужно разбираться в причине. Я не верю что у вас закончились идентификаторы потому что много товаров было. 
это больше двух миллиардов. 
разбирайтесь в причинах и сбрасуйте идентификаторы. Это нездоровая ситуация

Это решили, парсинг пошел, но вылезло другое. Категории создаются, но в товарах не прописываются. То есть получаются товары без категорий и пустое дерево категорий.