[Поддержка] SimplePars - Универсальный парсер для ИМ

[SSHEVA]

29.05.2024 в 17:01, partshez сказал:

Автор. Меня тоже этот вопрос интересует. В последнее время часто кодировка встречается. Как вариант, использую декодер. Но это пляски с бубном  https://www.online-decoder.com/ru

Ну так проблема в том, что эта штука ведь от поставщика ссылка на прайс лист чтоб всегда был актуальный, вот в своем браузере открываю все норм, а от парсер выдать умудряется кракозябрину. Так, что думаю автору нужно как то рассказать, что делать, чтоб если это в онлайне тянет все было нормально) .

А у нас выходит

<?xml version="1.0"?>
<yml_catalog date="2024-05-29 12:28"><shop><name>&#x41F;&#x43D;&#x435;&#x432;&#x43C;&#x43E;&#x41C;&#x430;&#x439;&#x441;&#x442;&#x435;&#x440;</name><company>

 

 

[Rassol2]

29.05.2024 в 08:29, SSHEVA сказал:

Всім привіт, @Rassol2 підкажи, що може бути при обробці xml модуль баче вміст с такими кракозябрами?  Версія модуля SimplePars v4.9-9_beta А якщо відкрити файл самостійно то все гуд, що можна зробити?

<?xml version="1.0"?>
<yml_catalog date="2024-05-29 12:28"><shop><name>&#x41F;&#x43D;&#x435;&#x432;&#x43C;&#x43E;&#x41C;&#x430;&#x439;&#x441;&#x442;&#x435;&#x440;</name><company>

 

На данный момент ничего, эти кракозябры это текст закодированный через HTML entities

Попробуйте загрузить код в магазин, модуль его должен перевести.
Проверьте на одном товаре.

При открытии в ручную браузер все делает за вас.

[SSHEVA]

29.05.2024 в 23:14, Rassol2 сказал:

На данный момент ничего, эти кракозябры это текст закодированный через HTML entities

Попробуйте загрузить код в магазин, модуль его должен перевести.
Проверьте на одном товаре.

При открытии в ручную браузер все делает за вас.

Я скачал файл на свой сервер, результат тот же.

[Rassol2]

29.05.2024 в 15:35, SSHEVA сказал:

Я скачал файл на свой сервер, результат тот же.

зачем вы это сделали я же вам написал не это ?

[SSHEVA]

29.05.2024 в 23:39, Rassol2 сказал:

зачем вы это сделали я же вам написал не это ?

Ну раз он не захотел сам нормально отрывать, пришлось самому перекодировать и только тогда он увидел файл без зашифровок

[Rassol2]

29.05.2024 в 15:50, SSHEVA сказал:

Ну раз он не захотел сам нормально отрывать, пришлось самому перекодировать и только тогда он увидел файл без зашифровок

Ну ок. Только не понятно почему вы не сделали то что я написал.
Тем не мения я рад что вы решили свой вопрос.

[SSHEVA]

29.05.2024 в 23:59, Rassol2 сказал:

Ну ок. Только не понятно почему вы не сделали то что я написал.
Тем не мения я рад что вы решили свой вопрос.

Все ровно ситуация с этими кракозябрами не очень. По крайней мере на этапе предпросмотр напрягают

[Rassol2]

29.05.2024 в 16:06, SSHEVA сказал:

Все ровно ситуация с этими кракозябрами не очень. По крайней мере на этапе предпросмотр напрягают

Модуль показывает код который парсит.
Донор использует HTML entities вместо обычного текста. На это я не могу повлиять.

[Topar]

Добрых времени суток. 

 

Чет у меня последнее время - с донором какие то странные проблемы - выдает: 

НЕУДАЧНЫЙ ЗАПРОС!!!
Код ответа = 28
Текст ответа = Operation timed out after 15008 milliseconds with 0 out of 0 bytes received
Ссылка = https://book24.ru/product/pop-up-entsiklopediya-anatomiya-knizhka-panoramka-6006173/
Больше информации можно получить в логах модуля SimplePars

 

 

Я так понимаю, возможно надо прокси использовать? Или проблема в другом? 

UPD - Проверил с другого сайта, который на другом сервере. Загрузилась страница в HTML Viewer - но не до конца + та же 28 ошибка. Что то очень странное. 

 

Змінено 30 травня користувачем Topar

[partshez]

30.05.2024 в 17:34, Topar сказал:

Добрых времени суток. 

 

Чет у меня последнее время - с донором какие то странные проблемы - выдает: 

НЕУДАЧНЫЙ ЗАПРОС!!!
Код ответа = 28
Текст ответа = Operation timed out after 15008 milliseconds with 0 out of 0 bytes received
Ссылка = https://book24.ru/product/pop-up-entsiklopediya-anatomiya-knizhka-panoramka-6006173/
Больше информации можно получить в логах модуля SimplePars

 

 

Я так понимаю, возможно надо прокси использовать? Или проблема в другом? 

UPD - Проверил с другого сайта, который на другом сервере. Загрузилась страница в HTML Viewer - но не до конца + та же 28 ошибка. Что то очень странное. 

 

https://prnt.sc/CnJ5AaqRVWG2  Без прокси. Значит, с прокси должно парситься нормально. 

https://www.webshare.io/  После регистрации получаете 10 бесплатных прокси. Можно за денежки купить больше

Змінено 30 травня користувачем partshez

[heagar]

Ребята подскажите пожалуйста как сделать, чтобы у тех товаров, у которых статус «В наличии» после обновления изменился на статус «Под заказ», чтобы они удалялись с сайта вместе с фотографиями. Подскажите пожалуйста как это сделать?

[partshez]

04.06.2024 в 11:59, heagar сказал:

Ребята подскажите пожалуйста как сделать, чтобы у тех товаров, у которых статус «В наличии» после обновления изменился на статус «Под заказ», чтобы они удалялись с сайта вместе с фотографиями. Подскажите пожалуйста как это сделать?

Создать шаблон в Редакторе товаров. Фильтровать по значению в поле Количество, равно нулю. Действие Удалить товары вместе с фото. Добавить шаблон в задание крон, после окончания...

Или использовать этот функционал. https://simplepars.top/index.php?page=note&n=41

[Rassol2]

Внимание.
 

Сегодня я получил очередное сообщение о сложности в авторизации на сайте доноре и этот вопрос становится все острее и острее.
Функция по автоматической авторизации была создана больше трех лет назад, уже даже точно не скажу три или четыре года. На момент создания данный функционал позволял авторизоваться примерно в 70-80% случаях, но после того стандарты сайтов сильно поменялись. Если при создании данного функционала использования токенов и спец хешей для проверки авторизации было редкостью то сейчас это уже стандарт. То же самое происходит с использованием JS для авторизации и проверки кук без перезагрузки страниц, что обработать модуль объективно не может.

С этого для функцию авторизации признаю устаревшей, и никаких гарантий по ней нет. Смогли авторизоваться славо богу. Нет, жаль ничем помочь не могу.
На странице описания модуля уже указал.

Цитата

- Парсинг с автоматической авторизацией на сайте доноре. Инструкция по авторизации (Функция устарела. Данная фунция устарела и на многих сайтах уже не будет работать. То есть гарнтии что у вас будет работать я не даю.)

Поддержки по данному функционалу больше не предоставляю.
На данный момент функционал остается в модуле так как есть еше сайты, где люди используют.

Пришло время признавать что функционал морально устаревает, и становится неработоспособным.

[ded85]

Треба налаштувати парс с сайта донора, хто може допомогти напишіть в пп

[Rassol2]

13.06.2024 в 01:20, ded85 сказал:

Треба налаштувати парс с сайта донора, хто може допомогти напишіть в пп

Здравствуйте.
Напишите им.

 

Axelenz
https://opencartforum.com/profile/711240-axelenz/

partshez
https://opencartforum.com/profile/832585-partshez/

emelkay
https://opencartforum.com/profile/761793-emelkay/

solohaigor
https://opencartforum.com/ru/profile/29959-solohaigor/

Они занимаются настройкой модуля на платной основе.

[danailddd]

Do you have a php8.1 version i have the 4.9.9. stable but it fails on ion_cube for php8.1 and i have no other option to go back to 7.4 then i found the module nulled so it does not require the ion_cube 7.4 but now i got locked for a domain which is already licensed

[SashkoAn]

10.06.2021 в 12:34, asokr сказал:

 

Да, для допусков, как я понял, нужно в том же ключе прописать все существующие категории в поиске/замене...

А основная задача в том, чтобы при появлении у донора новой категории - товар из нее не попадал в магазин.

Решил хирургическим путём, пока не протестировал, но нечто такое:

  Скрыть содержимое

			}elseif($setting['r_cat'] == 2){ //если добавлять товар только в сушествуюшие категории.
				if(!empty($data['cat'])){
					$data['cats_id'] = $this->getCategorysId($data['cat']);
					if($data['cats_id'][0] == 0 && $data['cat_d']!=0){
						$data['cats_id'][0] = $data['cat_d'];

					//Вот это добавим: - не добавляем товар, если нет категории в магазине и не задана категория по умолчанию.
					} else { 
						$log[] = ['name' =>'Категории','value'=>"Товар из этой категории нам не нужен"];
						$this->log('addProduct', $log, $dn_id);
						return;
					}


				}elseif($data['cat_d']!=0){
					$data['cats_id'][0] = $data['cat_d'];
				}

			}

 

 

 

Есть XML файл с товарами. Нужно регулярно парсить по cron, но не все товары, а только из определённых категорий. (На самом деле это очень актуальный функционал для интернет-магазинов.)
Появилась ли какая-либо возможность это делать, кроме той, которую я нашёл за 2021-й год?

Ещё там упоминался такой совет:
"Создать границу заменить все нужные вам категории на слово грузит. А затем в допусках выбрать загружать только те страницы в которых есть это слово."
Я, честно говоря, не понял где настраивать эти "допуски". И работает ли это при регулярном парсинге.
Вижу варианты:

- импортировать товары только из определённых категорий, а остальные отсеивать
- как-то запретить импорт товаров из категорий, которых нет в магазине

 

[Rassol2]

21.06.2024 в 19:08, SashkoAn сказал:

Есть XML файл с товарами. Нужно регулярно парсить по cron, но не все товары, а только из определённых категорий. (На самом деле это очень актуальный функционал для интернет-магазинов.)
Появилась ли какая-либо возможность это делать, кроме той, которую я нашёл за 2021-й год?

Ещё там упоминался такой совет:
"Создать границу заменить все нужные вам категории на слово грузит. А затем в допусках выбрать загружать только те страницы в которых есть это слово."
Я, честно говоря, не понял где настраивать эти "допуски". И работает ли это при регулярном парсинге.
Вижу варианты:

- импортировать товары только из определённых категорий, а остальные отсеивать
- как-то запретить импорт товаров из категорий, которых нет в магазине

 

Для решения этой задачи используется пропуск страницы по определенным критериям.
В вашем случаи это будет конкретный список категорий который вы можете через поиск замену заменять на какое то слово и по нему проверять.

Если вы не поняли где настраиваются допуски ознакомитесь с данной инструкцией.
https://simplepars.top/index.php?page=note&n=31

Ничего нового изобретено не было.

[SashkoAn]

О, теперь мне логика понятна, спасибо

[heagar]

Скрытый текст

04.06.2024 в 15:59, heagar сказал:

Ребята подскажите пожалуйста как сделать, чтобы у тех товаров, у которых статус «В наличии» после обновления изменился на статус «Под заказ», чтобы они удалялись с сайта вместе с фотографиями. Подскажите пожалуйста как это сделать?

 

 

04.06.2024 в 18:29, partshez сказал:

Создать шаблон в Редакторе товаров. Фильтровать по значению в поле Количество, равно нулю. Действие Удалить товары вместе с фото. Добавить шаблон в задание крон, после окончания...

Или использовать этот функционал. https://simplepars.top/index.php?page=note&n=41

 

 

Как всё работает сейчас. Изначально на уровне вкладки Парсинг в ИМ создан фильтр, который закачивает только те товары, у которых в статусе написано «В наличии», а все остальные соответственно не публикует на сайте.

 

Теперь ситуация - Товар был в наличии вчера, а послезавтра у донора на этот товар поменялся статус на «Под заказ». Соответственно парсер увидит этот статус, поймёт что товар с таким статусом нужно игнорировать и просто пропустит его и пойдёт дальше. А нам нужно чтобы он его удалил.

 

Всего товаров более 150 т. и парсер работает нон-стопом круглые сутки. Если делать как вы посоветовали через создание фильтра по количеству товаров и создания дополнительного шага в кроне удалении товаров с количеством 0, то в таком случае на сайте будет постоянно висеть от 1-70% процентов товаров которых нет в наличии (потому что у донора огромное количество товаров под заказ), а это не очень хорошо выглядит когда постоянно висит половина ассортимента которого нет в наличии. 

 

 

Может можно как то удалять товары не публикуя их с количеством 0, а отфильтровать и удалить их с сайта параллельным процессом?

Змінено 2 липня користувачем heagar

[dverizadoor]

Есть некоторая проблема, которую я не знаю как решить. Есть интернет магазин созданы на OpenCart (Version 2.3.0.2 (rs.7)) + Шаблон Journal 3.0.45, опции в товарах - HMPM (официальный модуль) , загрузка товаров - SimplePars (официальный модуль). 

 

Мне нужно загрузить товары (межкомнатные двери). Проблема заключается в том, что специалист который настраивал SimplePars не смог сделать активные опции в карточке товара в которых нет связанной характеристики. К примеру есть модель двери в 5 цветах полотна и 10 цветах остекления. Проблема в том , что не на всех остеклениях есть все цвета палотен. И с точке зрения логки, цвета полотен с отсутствующим остеклением , находятся в неактивном статусе. НО с точки зрения лидогенерации, когда в карточке товара большинство цветов не активные - это не хорошо . Нужно внедрить решение когда все цвета активные а при клике на цвет который не обладает остеклением, загружается товар с правильным цветом полотна и любым остеклением. 

 

К примеру - https://alum-profildoors.ru/seriya-pa/profildoors-19pa-sendmonohrom-chernyj-serebro . все цвет не активные. А на исходном сайте - https://profildoors.ru/catalog/seriya_pa/19pa/?color=black&glass=lacobel_chernyy_lak&glass_color=Not+selected&profile_color=RAL9005matt , все цвета полотен активные . и если допустим первым шагом мы выбираем остекление и потом полотно, на котором нет такого остекления, ТО открывается базовая дверь.

 

Кто может решить задачу? Напишите в ЛС, обсудим сотрудничество. 

[Rassol2]

05.07.2024 в 14:11, dverizadoor сказал:

Есть некоторая проблема, которую я не знаю как решить. Есть интернет магазин созданы на OpenCart (Version 2.3.0.2 (rs.7)) + Шаблон Journal 3.0.45, опции в товарах - HMPM (официальный модуль) , загрузка товаров - SimplePars (официальный модуль). 

 

Мне нужно загрузить товары (межкомнатные двери). Проблема заключается в том, что специалист который настраивал SimplePars не смог сделать активные опции в карточке товара в которых нет связанной характеристики. К примеру есть модель двери в 5 цветах полотна и 10 цветах остекления. Проблема в том , что не на всех остеклениях есть все цвета палотен. И с точке зрения логки, цвета полотен с отсутствующим остеклением , находятся в неактивном статусе. НО с точки зрения лидогенерации, когда в карточке товара большинство цветов не активные - это не хорошо . Нужно внедрить решение когда все цвета активные а при клике на цвет который не обладает остеклением, загружается товар с правильным цветом полотна и любым остеклением. 

 

К примеру - https://alum-profildoors.ru/seriya-pa/profildoors-19pa-sendmonohrom-chernyj-serebro . все цвет не активные. А на исходном сайте - https://profildoors.ru/catalog/seriya_pa/19pa/?color=black&glass=lacobel_chernyy_lak&glass_color=Not+selected&profile_color=RAL9005matt , все цвета полотен активные . и если допустим первым шагом мы выбираем остекление и потом полотно, на котором нет такого остекления, ТО открывается базовая дверь.

 

Кто может решить задачу? Напишите в ЛС, обсудим сотрудничество. 

Здравствуйте.
Я не уверен что данный вопрос можно решить через парсинг.
Суть проблемы в том что в коде страницы донора вы не увидите эти связи что бы их спарсить и воспроизвести у себя.

Что я имею в виду.
Парсинг это когда мы открываем код страницы и в моменте видим все элементы которые затем ужа парсим и что то с ними делаем. Там четко должно быть написано, такой то цвет, с таким то материалом есть в наличии. Но тот же цвет с другим материалом отсутствует. И тогда мы можем что то сделать.
Но как правило связанные опции работают иначе.
Когда товар у донора загружается под капотом донора делаются вычисления что есть чего нет, и в коде страницы мы видим уже результат вычисления, но никак не саму логику этого вычисления.

Так что данный вопрос скорее всего нельзя решить под ключ через парсинг. А в лучшем случаи скопировать все опции с сайта донора и как то иным способом простаивать связи между опциями.

[Rassol2]

02.07.2024 в 04:54, heagar сказал:

  Показать содержимое

 

 

 

 

Как всё работает сейчас. Изначально на уровне вкладки Парсинг в ИМ создан фильтр, который закачивает только те товары, у которых в статусе написано «В наличии», а все остальные соответственно не публикует на сайте.

 

Теперь ситуация - Товар был в наличии вчера, а послезавтра у донора на этот товар поменялся статус на «Под заказ». Соответственно парсер увидит этот статус, поймёт что товар с таким статусом нужно игнорировать и просто пропустит его и пойдёт дальше. А нам нужно чтобы он его удалил.

 

Всего товаров более 150 т. и парсер работает нон-стопом круглые сутки. Если делать как вы посоветовали через создание фильтра по количеству товаров и создания дополнительного шага в кроне удалении товаров с количеством 0, то в таком случае на сайте будет постоянно висеть от 1-70% процентов товаров которых нет в наличии (потому что у донора огромное количество товаров под заказ), а это не очень хорошо выглядит когда постоянно висит половина ассортимента которого нет в наличии. 

 

 

Может можно как то удалять товары не публикуя их с количеством 0, а отфильтровать и удалить их с сайта параллельным процессом?

Можно, действие обновлять и добаылять.
При добавлении нового товара используем допуск к обновлению добавлению под нанной инструкции
https://simplepars.top/index.php?page=note&n=31

Отсеваем все товары с 0
И так же используем
https://simplepars.top/index.php?page=note&n=41

Что бы удалять то что уже не обновляелось или нет у донора, или еше что том может быть с товаром.

[dverizadoor]

05.07.2024 в 23:21, Rassol2 сказал:

Здравствуйте.
Я не уверен что данный вопрос можно решить через парсинг.
Суть проблемы в том что в коде страницы донора вы не увидите эти связи что бы их спарсить и воспроизвести у себя.

Что я имею в виду.
Парсинг это когда мы открываем код страницы и в моменте видим все элементы которые затем ужа парсим и что то с ними делаем. Там четко должно быть написано, такой то цвет, с таким то материалом есть в наличии. Но тот же цвет с другим материалом отсутствует. И тогда мы можем что то сделать.
Но как правило связанные опции работают иначе.
Когда товар у донора загружается под капотом донора делаются вычисления что есть чего нет, и в коде страницы мы видим уже результат вычисления, но никак не саму логику этого вычисления.

Так что данный вопрос скорее всего нельзя решить под ключ через парсинг. А в лучшем случаи скопировать все опции с сайта донора и как то иным способом простаивать связи между опциями.

это я примерно понимаю . поэтому и ищу специалиста , который сделает под ключ.

[bodyak0]

Добрый день, подскажите вот парсером с розетки пытаюсь спарсить товар, все настроила но изображение не хочет затягивать, вернее затягивает но в админке ломает путь выдает такое src="/home/vwwokxeu/public_html/image/catalog/1/416600657.jpg" скачиваю фото на пк оно не открывается, кто вообще с розетки пробовал парсить фото?Или преобразователь не работает теперь в модуле?