[Поддержка] SimplePars - Універсальний парсер для ІМ

[Akinak57]

Здравствуйте! Попробовал демо-доступ. Мне нужно настроить парсинг этого файла - https://files.sima-land.ru/full_marketplace.xml

Пробовал по инструкции, но - 

 Обратите внимание что в предпросмотре выводится не более 10тысяч строк.

До <offer еще далеко, категории не все загрузились. Как в этом случае быть? Я не могу указать границы парсинга товара.

[Rassol2]

1 минуту назад, Akinak57 сказал:

Здравствуйте! Попробовал демо-доступ. Мне нужно настроить парсинг этого файла - https://files.sima-land.ru/full_marketplace.xml

Пробовал по инструкции, но - 

 Обратите внимание что в предпросмотре выводится не более 10тысяч строк.

До <offer еще далеко, категории не все загрузились. Как в этом случае быть? Я не могу указать границы парсинга товара.

Здравствуйте.
Сейчас посмотрю что у вас за прайс.

[Rassol2]

@Akinak57 Собственно да у вас просто много строк занимают категории, у себя прокачал вывод до 50тысяч строк и все выводится.
Могу проверить у себя получится ли разделить данный файл.

И показать вам все с скриншотами.
Если нужно.

[Rassol2]

@Akinak57 Собственно вот сделал настройки и модуль поделил все ваши категории.
 

Спойлер

 

Так же применил ко всем товарам.
 

Спойлер

Единственное что, для обработки этого прайса вам нужно иметь возможность установить время выполнения скрипта больше 30с.
Поскольку он большой и может не успеть скачатся и полностью обработаться за 30 сек.

[Akinak57]

А как прокачать вывод на 50 тыс?

[Rassol2]

Только что, Akinak57 сказал:

А как прокачать вывод на 50 тыс?

Как приобретете модуль напишите мне и я скину вам файлы с увеличенным пред просмотром.
Это проше чем расписывать все.

[Akinak57]

11 минут назад, Rassol2 сказал:

Единственное что, для обработки этого прайса вам нужно иметь возможность установить время выполнения скрипта больше 30с.
Поскольку он большой и может не успеть скачатся и полностью обработаться за 30 сек.

Это уже. Я тут с -  anyCSV/XLS/YML PRO PIM Edition 7.2 всю ночь "трахаюсь".  Эта сволочь только 10% картинок парсит. Причем как-то избирательно. И путь к ним делает такой, что просто жесть 

'items/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/cfcd208495d565ef66e7dff9f98764da/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/a87ff679a2f3e71d9181a67b7542122c/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/e4da3b7fbbce2345d7772b0674a318d5/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/1679091c5a880faf6fb5e6087eb1b2dc/51b176670cce472ccb924233dbb5b21a/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/8f14e45fceea167a5a36dedd4bea2543/2ff2641f28cc76a633ae24428d2ec72f.jpg'

 

Поэтому и обратил внимание на ваш модуль

[Akinak57]

4 минуты назад, Rassol2 сказал:

Как приобретете модуль напишите мне и я скину вам файлы с увеличенным пред просмотром.
Это проше чем расписывать все.

Ок

[Rassol2]

3 минуты назад, Akinak57 сказал:

Это уже. Я тут с -  anyCSV/XLS/YML PRO PIM Edition 7.2 всю ночь "трахаюсь".  Эта сволочь только 10% картинок парсит. Причем как-то избирательно. И путь к ним делает такой, что просто жесть 

'items/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/cfcd208495d565ef66e7dff9f98764da/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/a87ff679a2f3e71d9181a67b7542122c/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/e4da3b7fbbce2345d7772b0674a318d5/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/1679091c5a880faf6fb5e6087eb1b2dc/51b176670cce472ccb924233dbb5b21a/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/8f14e45fceea167a5a36dedd4bea2543/2ff2641f28cc76a633ae24428d2ec72f.jpg'

 

Поэтому и обратил внимание на ваш модуль

Да путь так себе.
 

3 минуты назад, Akinak57 сказал:

Ок

Ну тогда напишите в лс какую версию модуля поставите я и скину вас измененные файлы под пред просмотр в 50к строк. 

[Rassol2]

Обновление 4.2-3_beta

Парсинг в ИМ
Добавлена возможность при парсинге описания не только обновить его, но и добавить описание в конец или в начало существующего. @xshader обновляетесь

Спойлер

Сбор ссылок.
В сборе ссылок добавлена возможность парсить ссылки с sitemap которые за архивированы!!!

Тоже недавно писали люди, но не могу найти в ветке где это было
Но я думаю кто просил сам даст о себе знать
 

Спойлер

Но тут чуть больше нюансов. В данном режиме не будет работать настройки выставленные в запросах.
Так как этот режим работает не через cURL
Ну и здесь нет много поточности, точнее вы ее можете выставить на в этом режиме модуль все равно будет заращивать ссылки у донора по очереди.
Да и не рекомендую, все же карты сайта которые сжимают архивом весят ни фига не мало.
В данном примере каждая ссылка содержит по 50т ссылок на товары. Включив много поточность можно нарваться на нехватку ресурсов.
5 потоков заставят модуль в памяти держать 5 прайсов с количеством ссылок в 250 000, + работа архиватора.
Одним словом не рекомендую.

Обновляетесь сообщайте что да как
А я как всегда спать
 

[travkovs]

Подскажите реально нет для парсинга поставить такую задачу совместно с cron

==============

Допустим есть сайт донор с обновляющейся информацией. Добавляются новые товары. Что-то удаляется

Задача проверять изменения на сайте и допарсить то что не было в прошлый раз, ну и как вариант что-то сделать с тем товаром что удалился, например поменять статус его на архивный

[Rassol2]

Подскажите реально нет для парсинга поставить такую задачу совместно с cron
==============
Допустим есть сайт донор с обновляющейся информацией. Добавляются новые товары. Что-то удаляется
Задача проверять изменения на сайте и допарсить то что не было в прошлый раз, ну и как вариант что-то сделать с тем товаром что удалился, например поменять статус его на архивный

Полностью реально.

Отправлено с телефона через Tapatalk

[travkovs]

Только что, Rassol2 сказал:

Полностью реально.

Супер. спасибо!

[Flint2000]

2 година назад, Rassol2 сказав:

В сборе ссылок добавлена возможность парсить ссылки с sitemap которые за архивированы!!!

 

Супер

[Kuzolya]

17 часов назад, Rassol2 сказал:

Так это уже интересно.
недавно такое уже было.

Какой у вас хостинг ?

Ник.ру
самое странное, что я изначально пошла обновлять, потому что не смогла спарсить с сайта дистрибьютора ничего из-за проблем с кодировкой
видела где-то в теме, что надо обновить
но после обновления, перестал работать мой стандартный запрос, который отрабатывал идеально

[nebo]

Подскажите пожалуйста, кто знает:

Для мультиязычного сайта, спарсил товар на одном языке (во вкладке "Парсинг в ИИ" указал - язык1).

Теперь нужно обновить новодобавленный товар, добавив в него все данные на другом языке (во вкладке "Парсинг в ИИ" указал - язык2), ну и тут уже, само собой - не получается.. 

В логах указано: 

 !->[Товар не обновлен] : В магазине не найден товар с model = []

(пробовал указывать ID/Модель - тоже самое пишет - товар не найден.)

 

Вопрос: как обновить новодобавленный товар, добавив в него все данные на другом языке?

 

На сайте донора: 

- нет ID-шников или модели товара (паршу с сайтов производителей);

- урлы на языковые версии товара - разные (не просто добавлен через слэш код языка, а прям другой урл).

 

Модуль похоже не понимает данные с какой ссылки для парсинга, парсить в какой товар. Может нужно ссылкам для парсинга (во вкладке "Ссылки на товары") указать ID/Модель товара, который нужно обновить?

 

Как обновить добавленный товар, данными второй языковой версии?

Змінено 11 лютого 2021 користувачем nebo

[partshez]

1 час назад, nebo сказал:

Как обновить добавленный товар, данными второй языковой версии?

Все делали правильно, за исключением. Необходим уникальный идентификатор товара на Вашем сайте, на страницах донора в каждой языковой версии. Иначе обновления не получится

[Rassol2]

3 часа назад, Kuzolya сказал:

Ник.ру
самое странное, что я изначально пошла обновлять, потому что не смогла спарсить с сайта дистрибьютора ничего из-за проблем с кодировкой
видела где-то в теме, что надо обновить
но после обновления, перестал работать мой стандартный запрос, который отрабатывал идеально

Напишите в ЛС данные подключения к FTP вашего сайта.
И админку.
Так же в каком проекте это можно видеть, изучу и поправлю.

[Akinak57]

Попытался установить 4.1-3 модуль на ocstore 2.3, скопировал запустил inst.php получили сообщение об успешной установке и предупреждение о замене файлов для php 7.4. Заменил. Обновил кэш модификатора, добавил разрешения. Но модуля так и не видно в меню. Что может быть?

[partshez]

15 минут назад, Akinak57 сказал:

Попытался установить 4.1-3 модуль на ocstore 2.3, скопировал запустил inst.php получили сообщение об успешной установке и предупреждение о замене файлов для php 7.4. Заменил. Обновил кэш модификатора, добавил разрешения. Но модуля так и не видно в меню. Что может быть?

Еще раз установить точно по инструкции. После установки загрузить файл для нужной версии php . Есть отдельная папка в файлах установки. 

А вообще-то уже есть версия 4.2-3

[Akinak57]

5 минут назад, partshez сказал:

Еще раз установить точно по инструкции. После установки загрузить файл для нужной версии php . Есть отдельная папка в файлах установки. 

А вообще-то уже есть версия 4.2-3

Да пробовал уже. сейчас 4.2-3 попробую.

[Akinak57]

7 минут назад, Akinak57 сказал:

Да пробовал уже. сейчас 4.2-3 попробую.

Не, то же самое и с 4.2

Тьфу ты блин. Клиент другую группу создал и админа из группы Administrator туда перевел)) Разобрался вообщем

Змінено 11 лютого 2021 користувачем Akinak57

[Akinak57]

Первый раз модулем пользуюсь, не могу понять. Нужно спарсить из xml файла. Делаю по инструкции. В инструкции - "Модуль обработает этот XML файл и вы получите готовые ссылки на каждый отдельный файл который вы сможете парсить так же как обычный сайт." А где эти ссылки? В "Сборе ссылок" они не появляются. Куда дальше не пойму пока никак. Подскажите кто знает, плиз.

 

 

Змінено 11 лютого 2021 користувачем Akinak57

[Rassol2]

37 минут назад, Akinak57 сказал:

модулем пользуюсь, не могу понять. Нужно спарсить из xml файла. Делаю по инструкции. В инструкции - "Модуль обработает этот XML файл и вы получите готовые ссылки на каждый отдельный файл который вы сможете парсить так же как обычный сайт." А где эти ссылки? В "Сборе ссылок" они не появляются. Куда дальше не пойму пока никак. Подскажите кто знает, плиз.

Посмотрите логи.
Что там написано ?

Скорее всего у вас тайм аут не хватает времени на выполнение. Если так поставьте максимальное доступное время в настройках запросов.
Если все равно не будет хватать скажите сколько у вас на хостинге время выполнения скрипта и я вам подскажу как увеличить его.

[Akinak57]

9 минут назад, Rassol2 сказал:

Посмотрите логи.
Что там написано ?

Скорее всего у вас тайм аут не хватает времени на выполнение. Если так поставьте максимальное доступное время в настройках запросов.
Если все равно не будет хватать скажите сколько у вас на хостинге время выполнения скрипта и я вам подскажу как увеличить его.

2021-02-11 16:59:01| Парсинг : ОШИБКА ответа  | Код ответа = 28 | Текст ответа = Operation timed out after 15003 milliseconds with 23346966 out of 88379452 bytes received | Ссылка - https://files.sima-land.ru/full_marketplace.xml
Таймаут 120 секунд