[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

16.06.2022 в 15:02, Nadin44ik сказал:

Добрый день! Как можно использовать ID товара (присвоенное автоматически) при создании директории для фото, т.е. чтобы вначале пути указывалось ID присваемого товара (пример image/catalog/1974-zaschitnoe_steklo_Samsung_A01_Core_chernyj_9D-0-1-1000x1000)?

 

16.06.2022 в 15:10, Axelenz сказал:

Данные парсятся с донора... id товара ещё не присутствует ни в каком практическом виде при получении этих данных, id присваивается при внесении товара на сайт CMS Opencart.

https://prnt.sc/DiKEqtcNxKwi  Примерно так, но с учетом поста выше. Использовать поля, создаваемые парсером

Змінено 16 червня 2022 користувачем partshez

[Nadin44ik]

16.06.2022 в 15:10, Axelenz сказал:

Данные парсятся с донора... id товара ещё не присутствует ни в каком практическом виде при получении этих данных, id присваивается при внесении товара на сайт CMS Opencart.

Это понятно, что формируется при создании, но какой-то переменной же наверное можно ее использовать, ведь сначала присваивается номер и после этого наполняются данные и подгружаются фото с донора (и к этому моменту id товара уже известен парсеру).
Возможно что-то по типу: {id} или {model} - но эти не работают

 

Может кто-то знает, подскажите пожалуйста??

[partshez]

16.06.2022 в 15:19, Nadin44ik сказал:

Это понятно, что формируется при создании, но какой-то переменной же наверное можно ее использовать, ведь сначала присваивается номер и после этого наполняются данные и подгружаются фото с донора (и к этому моменту id товара уже известен парсеру).
Возможно что-то по типу: {id} или {model} - но эти не работают

 

Может кто-то знает, подскажите пожалуйста??

Используйте Артикул, Модель , UPC и т.д. , создаваемые парсером. Но не id товара

Змінено 16 червня 2022 користувачем partshez

[Nadin44ik]

16.06.2022 в 15:19, Nadin44ik сказал:

Это понятно, что формируется при создании, но какой-то переменной же наверное можно ее использовать, ведь сначала присваивается номер и после этого наполняются данные и подгружаются фото с донора (и к этому моменту id товара уже известен парсеру).
Возможно что-то по типу: {id} или {model} - но эти не работают

 

Может кто-то знает, подскажите пожалуйста??

Пусть даже если это будет обновление после создания и ИД товара уже будет сформирован и известен даже мне - как массово его использовать при создании пути к фото? 

 

16.06.2022 в 15:22, partshez сказал:

Используйте Артикул, Модель , UPC и т.д. Но не id товара

Это все спарсенные данные, а нужно именно собственный порядковый ИД товара

[Axelenz]

16.06.2022 в 15:26, Nadin44ik сказал:

Это все спарсенные данные, а нужно именно собственный порядковый ИД товара

А Вы всегда можете спарсить самого себя и внести любые изменения )

[Nadin44ik]

16.06.2022 в 15:31, Axelenz сказал:

А Вы всегда можете спарсить самого себя и внести любые изменения )

Копировать у другого, чтобы потом копировать у себя...

Ну это уже будет перебор))))

 

[Denkof]

Здравствуйте. 
Подскажите пожалуйста как исправить ошибку "Operation timed out after 15004 milliseconds with 355460 out of -1 bytes received"

Ошибка возникает при использовании Обработчика xml.

------------------

Есть xml файл, который я пытаюсь обработчиком разделить на товары для дальнейшего парсинга.

1. Если в оработчике xml загрузить код этого же файла и нажать "предпросмотр" -  то в предпросмотре все работает корректно и код страницы корректно разделяется на товары.

2. Если в обработчике нажать "пуск" то процесс обработки запускается и спустя 15 секунд выводится сообщения "Парсинг окончен, файл успешно поделен на товары" но ссылки на сами товары не появляются в списке ссылок, а во вкладке "логи" регистрируется вышеуказанная ошибка.

 

Я так понимаю это происходит потому, что я пытаюсь распарсить слишком большой фай и модулю не хватает времени на обработку.  В то же время если попробовать распарсить любой дургой файл поменьше размером, то все отрабатывается корректно (файл делится на товары, создаюттся ссылки и помещаются в очередь сканирвоания)

Подскажите как такую проблему исправить?

[Axelenz]

16.06.2022 в 15:46, Denkof сказал:

Подскажите пожалуйста как исправить ошибку "Operation timed out after 15004 milliseconds

Подобные темы уже не раз обсуждались на форуме... ищите

 

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1776544&_rid=711240

[Denkof]

16.06.2022 в 15:51, Axelenz сказал:

Подобные темы уже не раз обсуждались на форуме... ищите

 

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1776544&_rid=711240

Спасибо. Читаю, пробую.

[Denkof]

16.06.2022 в 15:51, Axelenz сказал:

Подобные темы уже не раз обсуждались на форуме... ищите

 

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1776544&_rid=711240

Посмотрел, увеличил время запроса до 60 сек. Ситуация прежняя загрузить весь код не удалось. В то же время вижу в логах 
Что при увеличеном времени выполнения запроса загрузилось больше данных чем до  этого. было "397451 out of -1 bytes received" стало "2234884 out of -1 bytes received" Судя по количеству загруженых байт за эти 60 сек. загружается до 30 МБ данных, а у меня файл 55МБ т.е. теретически мне нужно увеличить время запроса до 120 секунд и тогда процес должен завершиться успешно, так?

[Rassol2]

16.06.2022 в 08:33, Denkof сказал:

т.е. теретически мне нужно увеличить время запроса до 120 секунд и тогда процес должен завершиться успешно, так?

Верно

[blogizm13]

Всем привет! Кто поможет с парсингом на двух языках (укр/рус) и возможностью отслеживания наличия? За гроші. Пишите в личку.

[Kiyoshi]

Здраствуйте к сожалению полноценную загрузку под дополётные язык не реализовать введу того что нет пока возможности сопоставить характеристики, опции, категории на разных языках да и обычно доп языки можно грузить только при помощи cookie что лишает возможности автоматизировать процесс для выгрузки на дополнительных языках. Для того чтобы сделать все по красоте вам потребуется после выгрузки под основной язык вручную добавить дополнительный перевод и потом учесть его в поиск замена у дополнительно языка если все устраивает могу по подсказывать.

[partshez]

22.06.2022 в 15:03, blogizm13 сказал:

Всем привет! Кто поможет с парсингом на двух языках (укр/рус) и возможностью отслеживания наличия? За гроші. Пишите в личку.

Дополнительно к предыдущему посту. Парсим один язык в два наших. Вторым проектом обновляем Название и Описание второго языка. Вручную прописываем название категорий на втором языке и название атрибутов. Значения атрибутов в двух языках будут одинаковыми. Примерно так

Змінено 22 червня 2022 користувачем partshez

[SToRm1k]

Подскажите, как удалить пробел между 39 и 990?

Обычный пробел писал, табуляцию писал, пробовал через регулярку удалять пробелы, все пробелы удаляет но между 39 и 990 не удаляет. Подскажите 

[Kiyoshi]

23.06.2022 в 21:05, SToRm1k сказал:

Подскажите, как удалить пробел между 39 и 990?

Обычный пробел писал, табуляцию писал, пробовал через регулярку удалять пробелы, все пробелы удаляет но между 39 и 990 не удаляет. Подскажите 

Здравствуйте замените созданные правила на {reg[#[^0-9]#]}|

Также рекомендую к ознакомлению Заметки по регулярным выражениям

Змінено 24 червня 2022 користувачем Kiyoshi

[Rassol2]

23.06.2022 в 22:07, Kiyoshi сказал:

Здравствуйте замените созданные правила на {reg[#[^0-9]#]}|

Также рекомендую к ознакомлению Заметки по регулярным выражениям

Если касается цифр то я бы рекомендовал бы вот такое правило.
{reg[#[^0-9.,]#]}| - Удалит из текста все кроме цифр. Точек, и запятых. Они нужны для указания десятичных чисел.
так как фиг его знает, а вдруг попадется число с запятой.

[partshez]

Всем привет! 

Есть ссылка на фото src="data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACH5BAEAAAAALAAAAAABAAEAAAICRAEAOw=="

Использую скрипт автора перед парсингом в ИМ.

<?php

$script_data['form']['price'] = base64_decode($script_data['form']['price']);

?>

Не получается что-то. Подскажите, пожалуйста. Наверное, неправильно оставляю код в границе.   https://prnt.sc/xVt7g3nlrLrE

Змінено 24 червня 2022 користувачем partshez

[Rassol2]

24.06.2022 в 01:56, partshez сказал:

Всем привет! 

Есть ссылка на фото src="data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACH5BAEAAAAALAAAAAABAAEAAAICRAEAOw=="

Использую скрипт автора перед парсингом в ИМ.

<?php

$script_data['form']['price'] = base64_decode($script_data['form']['price']);

?>

Не получается что-то. Подскажите, пожалуйста. Наверное, неправильно оставляю код в границе.   https://prnt.sc/xVt7g3nlrLrE

 

Скрытый текст

 

В пред просмотре вы не увидите результат работы скриптов.
Но я проверил сам код не преобразуется. Так что возможно тоже что то не так.

PS. Фото под спойлер

[partshez]

25.06.2022 в 17:13, Rassol2 сказал:

Но я проверил сам код не преобразуется. Так что возможно тоже что то не так.

Спасибо. Понял

Змінено 25 червня 2022 користувачем partshez

[NoMad09]

Добрый день. 

Пару месяцев назад парсил 4 сайта. Все было отлично. Сейчас пытаюсь парсить их. И получаю везде вот такую ошибку.

Попробовал еще десяток других сайтов, только на одном пошел парс. Не могу понять, это у меня что то не так, или дело в сайтах. 

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Код ответа = 7
3. Текст ответа = Failed to connect to velostudio.com.ua port 443: Connection refused
4. Ссылка = https://velostudio.com.ua/product/krossovki-skechers-expended-bermo-blue/
5. Больше информации можно получить в логах модуля SimplePars

[NoMad09]

26.06.2022 в 00:31, NoMad09 сказал:

Добрый день. 

Пару месяцев назад парсил 4 сайта. Все было отлично. Сейчас пытаюсь парсить их. И получаю везде вот такую ошибку.

Попробовал еще десяток других сайтов, только на одном пошел парс. Не могу понять, это у меня что то не так, или дело в сайтах. 

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Код ответа = 7
3. Текст ответа = Failed to connect to velostudio.com.ua port 443: Connection refused
4. Ссылка = https://velostudio.com.ua/product/krossovki-skechers-expended-bermo-blue/
5. Больше информации можно получить в логах модуля SimplePars

Зашел на демку симплПарса. Сайт парситься. Ошибки нету. 
Понятия не имею, в чем может быть трабл, хелп

[Kiyoshi]

Здравствуйте судя по логам не удалось подключиться сайту по 443 порту. Узнайте на своем хостинге можно ли открыть внешние порты если возможность есть откройте 443 порт.

[NoMad09]

26.06.2022 в 03:06, Kiyoshi сказал:

Здравствуйте судя по логам не удалось подключиться сайту по 443 порту. Узнайте на своем хостинге можно ли открыть внешние порты если возможность есть откройте 443 порт.

Вы абсолютно правы, проблема в хостинге. Обратился в тех поддержку, вопрос решили. Спасибо!

[bakser101]

Подскажите как в поиск-замене прописать, что бы в результате оставались только первые 10 символов из спаренного.

Спасибо.