Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Здравствуйте! Попробовал демо-доступ. Мне нужно настроить парсинг этого файла - https://files.sima-land.ru/full_marketplace.xml

Пробовал по инструкции, но - 

 Обратите внимание что в предпросмотре выводится не более 10тысяч строк.

До <offer еще далеко, категории не все загрузились. Как в этом случае быть? Я не могу указать границы парсинга товара.

Надіслати
Поділитися на інших сайтах


1 минуту назад, Akinak57 сказал:

Здравствуйте! Попробовал демо-доступ. Мне нужно настроить парсинг этого файла - https://files.sima-land.ru/full_marketplace.xml

Пробовал по инструкции, но - 


 Обратите внимание что в предпросмотре выводится не более 10тысяч строк.

До <offer еще далеко, категории не все загрузились. Как в этом случае быть? Я не могу указать границы парсинга товара.

Здравствуйте.
Сейчас посмотрю что у вас за прайс.

Надіслати
Поділитися на інших сайтах

@Akinak57 Собственно да у вас просто много строк занимают категории, у себя прокачал вывод до 50тысяч строк и все выводится.
Могу проверить у себя получится ли разделить данный файл.

И показать вам все с скриншотами.
Если нужно.

Надіслати
Поділитися на інших сайтах

@Akinak57 Собственно вот сделал настройки и модуль поделил все ваши категории.
 

Спойлер

dFspq4r.png

 

Так же применил ко всем товарам.
 

Спойлер

WhHPVBl.png


Единственное что, для обработки этого прайса вам нужно иметь возможность установить время выполнения скрипта больше 30с.
Поскольку он большой и может не успеть скачатся и полностью обработаться за 30 сек.

Надіслати
Поділитися на інших сайтах

Только что, Akinak57 сказал:

А как прокачать вывод на 50 тыс?

Как приобретете модуль напишите мне и я скину вам файлы с увеличенным пред просмотром.
Это проше чем расписывать все.

Надіслати
Поділитися на інших сайтах

11 минут назад, Rassol2 сказал:


Единственное что, для обработки этого прайса вам нужно иметь возможность установить время выполнения скрипта больше 30с.
Поскольку он большой и может не успеть скачатся и полностью обработаться за 30 сек.

Это уже. Я тут с -  anyCSV/XLS/YML PRO PIM Edition 7.2 всю ночь "трахаюсь".  Эта сволочь только 10% картинок парсит. Причем как-то избирательно. И путь к ним делает такой, что просто жесть 

'items/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/cfcd208495d565ef66e7dff9f98764da/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/a87ff679a2f3e71d9181a67b7542122c/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/e4da3b7fbbce2345d7772b0674a318d5/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/1679091c5a880faf6fb5e6087eb1b2dc/51b176670cce472ccb924233dbb5b21a/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/8f14e45fceea167a5a36dedd4bea2543/2ff2641f28cc76a633ae24428d2ec72f.jpg'

 

Поэтому и обратил внимание на ваш модуль

Надіслати
Поділитися на інших сайтах


4 минуты назад, Rassol2 сказал:

Как приобретете модуль напишите мне и я скину вам файлы с увеличенным пред просмотром.
Это проше чем расписывать все.

Ок

Надіслати
Поділитися на інших сайтах


3 минуты назад, Akinak57 сказал:

Это уже. Я тут с -  anyCSV/XLS/YML PRO PIM Edition 7.2 всю ночь "трахаюсь".  Эта сволочь только 10% картинок парсит. Причем как-то избирательно. И путь к ним делает такой, что просто жесть 

'items/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/cfcd208495d565ef66e7dff9f98764da/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/a87ff679a2f3e71d9181a67b7542122c/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/e4da3b7fbbce2345d7772b0674a318d5/15fc0163c3dd2c44a3d895b46c97b0aa/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/1679091c5a880faf6fb5e6087eb1b2dc/51b176670cce472ccb924233dbb5b21a/d41d8cd98f00b204e9800998ecf8427e/f4e6d9d110132edbf479d7ce7720f256/691d502cfd0e0626cd3b058e5682ad1c/074b79c293b6be420a31a3b4e12d04d1/8f14e45fceea167a5a36dedd4bea2543/2ff2641f28cc76a633ae24428d2ec72f.jpg'

 

Поэтому и обратил внимание на ваш модуль

Да путь так себе.
 

3 минуты назад, Akinak57 сказал:

Ок

Ну тогда напишите в лс какую версию модуля поставите я и скину вас измененные файлы под пред просмотр в 50к строк. 

Надіслати
Поділитися на інших сайтах

Обновление 4.2-3_beta

Парсинг в ИМ
Добавлена возможность при парсинге описания не только обновить его, но и добавить описание в конец или в начало существующего. @xshader обновляетесь :wink:

Спойлер

UHnB4Tq.png


Сбор ссылок.
В сборе ссылок добавлена возможность парсить ссылки с sitemap которые за архивированы!!!:eek:

Тоже недавно писали люди, но не могу найти в ветке где это было :(
Но я думаю кто просил сам даст о себе знать :wink:

 

Спойлер

h74CHPQ.png


Но тут чуть больше нюансов. В данном режиме не будет работать настройки выставленные в запросах.
Так как этот режим работает не через cURL
Ну и здесь нет много поточности, точнее вы ее можете выставить на в этом режиме модуль все равно будет заращивать ссылки у донора по очереди.
Да и не рекомендую, все же карты сайта которые сжимают архивом весят ни фига не мало.
В данном примере каждая ссылка содержит по 50т ссылок на товары. Включив много поточность можно нарваться на нехватку ресурсов.
5 потоков заставят модуль в памяти держать 5 прайсов с количеством ссылок в 250 000, + работа архиватора.
Одним словом не рекомендую.

Обновляетесь сообщайте что да как :)
А я как всегда спать :grin:

 

  • +1 5
Надіслати
Поділитися на інших сайтах

Подскажите реально нет для парсинга поставить такую задачу совместно с cron

==============

Допустим есть сайт донор с обновляющейся информацией. Добавляются новые товары. Что-то удаляется

Задача проверять изменения на сайте и допарсить то что не было в прошлый раз, ну и как вариант что-то сделать с тем товаром что удалился, например поменять статус его на архивный

Надіслати
Поділитися на інших сайтах


Подскажите реально нет для парсинга поставить такую задачу совместно с cron
==============
Допустим есть сайт донор с обновляющейся информацией. Добавляются новые товары. Что-то удаляется
Задача проверять изменения на сайте и допарсить то что не было в прошлый раз, ну и как вариант что-то сделать с тем товаром что удалился, например поменять статус его на архивный
Полностью реально.

Отправлено с телефона через Tapatalk

  • +1 2
Надіслати
Поділитися на інших сайтах

2 година назад, Rassol2 сказав:

В сборе ссылок добавлена возможность парсить ссылки с sitemap которые за архивированы!!!:eek:

 

Супер

  • +1 1
Надіслати
Поділитися на інших сайтах

17 часов назад, Rassol2 сказал:

Так это уже интересно.
недавно такое уже было.

Какой у вас хостинг ?

Ник.ру
самое странное, что я изначально пошла обновлять, потому что не смогла спарсить с сайта дистрибьютора ничего из-за проблем с кодировкой
видела где-то в теме, что надо обновить
но после обновления, перестал работать мой стандартный запрос, который отрабатывал идеально

Надіслати
Поділитися на інших сайтах


Подскажите пожалуйста, кто знает:

Для мультиязычного сайта, спарсил товар на одном языке (во вкладке "Парсинг в ИИ" указал - язык1).

Теперь нужно обновить новодобавленный товар, добавив в него все данные на другом языке (во вкладке "Парсинг в ИИ" указал - язык2), ну и тут уже, само собой - не получается.. 

В логах указано: 

 !->[Товар не обновлен] : В магазине не найден товар с model = []

(пробовал указывать ID/Модель - тоже самое пишет - товар не найден.)

 

Вопрос: как обновить новодобавленный товар, добавив в него все данные на другом языке?

 

На сайте донора: 

- нет ID-шников или модели товара (паршу с сайтов производителей);

- урлы на языковые версии товара - разные (не просто добавлен через слэш код языка, а прям другой урл).

 

Модуль похоже не понимает данные с какой ссылки для парсинга, парсить в какой товар. Может нужно ссылкам для парсинга (во вкладке "Ссылки на товары") указать ID/Модель товара, который нужно обновить?

 

Как обновить добавленный товар, данными второй языковой версии?

Змінено користувачем nebo
Надіслати
Поділитися на інших сайтах


1 час назад, nebo сказал:

Как обновить добавленный товар, данными второй языковой версии?

Все делали правильно, за исключением. Необходим уникальный идентификатор товара на Вашем сайте, на страницах донора в каждой языковой версии. Иначе обновления не получится

  • +1 1
Надіслати
Поділитися на інших сайтах


3 часа назад, Kuzolya сказал:

Ник.ру
самое странное, что я изначально пошла обновлять, потому что не смогла спарсить с сайта дистрибьютора ничего из-за проблем с кодировкой
видела где-то в теме, что надо обновить
но после обновления, перестал работать мой стандартный запрос, который отрабатывал идеально

Напишите в ЛС данные подключения к FTP вашего сайта.
И админку.
Так же в каком проекте это можно видеть, изучу и поправлю.

Надіслати
Поділитися на інших сайтах

Попытался установить 4.1-3 модуль на ocstore 2.3, скопировал запустил inst.php получили сообщение об успешной установке и предупреждение о замене файлов для php 7.4. Заменил. Обновил кэш модификатора, добавил разрешения. Но модуля так и не видно в меню. Что может быть?

Надіслати
Поділитися на інших сайтах


15 минут назад, Akinak57 сказал:

Попытался установить 4.1-3 модуль на ocstore 2.3, скопировал запустил inst.php получили сообщение об успешной установке и предупреждение о замене файлов для php 7.4. Заменил. Обновил кэш модификатора, добавил разрешения. Но модуля так и не видно в меню. Что может быть?

Еще раз установить точно по инструкции. После установки загрузить файл для нужной версии php . Есть отдельная папка в файлах установки. 

А вообще-то уже есть версия 4.2-3

Надіслати
Поділитися на інших сайтах


5 минут назад, partshez сказал:

Еще раз установить точно по инструкции. После установки загрузить файл для нужной версии php . Есть отдельная папка в файлах установки. 

А вообще-то уже есть версия 4.2-3

Да пробовал уже. сейчас 4.2-3 попробую.

Надіслати
Поділитися на інших сайтах


7 минут назад, Akinak57 сказал:

Да пробовал уже. сейчас 4.2-3 попробую.

Не, то же самое и с 4.2

Тьфу ты блин. Клиент другую группу создал и админа из группы Administrator туда перевел)) Разобрался вообщем

Змінено користувачем Akinak57
Надіслати
Поділитися на інших сайтах


2021-02-11_16-37-18.thumb.png.f062cb91b797d33cc38e6e9e65eeb1d2.pngПервый раз модулем пользуюсь, не могу понять. Нужно спарсить из xml файла. Делаю по инструкции. В инструкции - "Модуль обработает этот XML файл и вы получите готовые ссылки на каждый отдельный файл который вы сможете парсить так же как обычный сайт." А где эти ссылки? В "Сборе ссылок" они не появляются. Куда дальше не пойму пока никак. Подскажите кто знает, плиз.

 

 

2021-02-11_17-00-10.png

Змінено користувачем Akinak57
Надіслати
Поділитися на інших сайтах


37 минут назад, Akinak57 сказал:

модулем пользуюсь, не могу понять. Нужно спарсить из xml файла. Делаю по инструкции. В инструкции - "Модуль обработает этот XML файл и вы получите готовые ссылки на каждый отдельный файл который вы сможете парсить так же как обычный сайт." А где эти ссылки? В "Сборе ссылок" они не появляются. Куда дальше не пойму пока никак. Подскажите кто знает, плиз.

Посмотрите логи.
Что там написано ?

Скорее всего у вас тайм аут не хватает времени на выполнение. Если так поставьте максимальное доступное время в настройках запросов.
Если все равно не будет хватать скажите сколько у вас на хостинге время выполнения скрипта и я вам подскажу как увеличить его.

Надіслати
Поділитися на інших сайтах

9 минут назад, Rassol2 сказал:

Посмотрите логи.
Что там написано ?

Скорее всего у вас тайм аут не хватает времени на выполнение. Если так поставьте максимальное доступное время в настройках запросов.
Если все равно не будет хватать скажите сколько у вас на хостинге время выполнения скрипта и я вам подскажу как увеличить его.

2021-02-11 16:59:01| Парсинг : ОШИБКА ответа  | Код ответа = 28 | Текст ответа = Operation timed out after 15003 milliseconds with 23346966 out of 88379452 bytes received | Ссылка - https://files.sima-land.ru/full_marketplace.xml
Таймаут 120 секунд

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.