[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

11.07.2024 в 08:16, bodyak0 сказал:

Добрый день, подскажите вот парсером с розетки пытаюсь спарсить товар, все настроила но изображение не хочет затягивать, вернее затягивает но в админке ломает путь выдает такое src="/home/vwwokxeu/public_html/image/catalog/1/416600657.jpg" скачиваю фото на пк оно не открывается, кто вообще с розетки пробовал парсить фото?Или преобразователь не работает теперь в модуле?

Попробуйте вставить ссылку на фото  с сайта розетки вот сюда.
 

Скрытый текст

И нажать щагрузить, предварительно выбрав варианты не показывать превью и не подсвечивать синтаксис.
Что то мне подсказывает что розетка может вместо фото товара отдавать вам html файл где написано форбиден, доступ запрещен.
А если там реально фото отдается вы увидите кучу каракулей, знаков вопроса и так далее.

[spectre]

11.07.2024 в 17:13, Rassol2 сказал:

Попробуйте

 

Я бы не помогал пользователям вареза

 

 

 

[bodyak0]

11.07.2024 в 17:59, spectre сказал:

 

Я бы не помогал пользователям вареза

 

 

 

А кто сказал что я не приобретал лицензию?

[bodyak0]

On 7/11/2024 at 5:13 PM, Rassol2 said:

Попробуйте вставить ссылку на фото  с сайта розетки вот сюда.
 

  Reveal hidden contents

И нажать щагрузить, предварительно выбрав варианты не показывать превью и не подсвечивать синтаксис.
Что то мне подсказывает что розетка может вместо фото товара отдавать вам html файл где написано форбиден, доступ запрещен.
А если там реально фото отдается вы увидите кучу каракулей, знаков вопроса и так далее.

К стати да, вы правы. Каракули выдает

[Rassol2]

12.07.2024 в 04:30, bodyak0 сказал:

А кто сказал что я не приобретал лицензию?

Здравствуйте.
Коль такая тема, напишите номер заказа модуля.
Я проверю. Можете в лс.

[partshez]

Всем привет! Проблема с загрузкой атрибутов.

Были выполнены разные действия с атрибутами на сайте. Через АОП удалялись дубли атрибутов, неприкрепленные к товарам атрибуты, выполнялись действия по стандартизации атрибутов. Через Симплпарс удалялись атрибуты, не привязанные к товарам, создавались группы атрибутов и атрибуты. Через Атрибутико склеивались атрибуты и выполнялись действия с атрибутами и группами атрибутов. 

В результате имеем бардак с атрибутами на сайте и Симплпарс не хочет выполнять никакие действия с атрибутами! Запускаешь проект Без создания атрибутов - работает все нормально, не тормозит. Включаешь любое действие с атрибутами - скорость обработки ссылок падает до нуля (вне зависимости от способа запуска проекта в работу - вручную или через крон) . Зависает проект, админка, сайт. Работать в адинке вообще невозможно.

Еще проблема. Очень долго открывается и выполняется любое действие в Менеджере заданий (CRON) в админке. Например, нажимаешь Рестарт задания или Отключить задание, Изменить время... страница открывается несколько минут. 

Поставщиков и проектов много, заданий крон тоже много. Каждый поставщик имеет разные атрибуты. В итоге всех манипуляций по приведению в порядок сейчас на сайте порядка 5 тысяч атрибутов.

Каким образом решить эти проблемы?

Если кто-то может предложить помощь, готов рассмотреть - пишите в личку. 

Змінено 17 липня користувачем partshez

[Rassol2]

17.07.2024 в 03:58, partshez сказал:

Всем привет! Проблема с загрузкой атрибутов.

Были выполнены разные действия с атрибутами на сайте. Через АОП удалялись дубли атрибутов, неприкрепленные к товарам атрибуты, выполнялись действия по стандартизации атрибутов. Через Симплпарс удалялись атрибуты, не привязанные к товарам, создавались группы атрибутов и атрибуты. Через Атрибутико склеивались атрибуты и выполнялись действия с атрибутами и группами атрибутов. 

В результате имеем бардак с атрибутами на сайте и Симплпарс не хочет выполнять никакие действия с атрибутами! Запускаешь проект Без создания атрибутов - работает все нормально, не тормозит. Включаешь любое действие с атрибутами - скорость обработки ссылок падает до нуля (вне зависимости от способа запуска проекта в работу - вручную или через крон) . Зависает проект, админка, сайт. Работать в адинке вообще невозможно.

Еще проблема. Очень долго открывается и выполняется любое действие в Менеджере заданий (CRON) в админке. Например, нажимаешь Рестарт задания или Отключить задание, Изменить время... страница открывается несколько минут. 

Поставщиков и проектов много, заданий крон тоже много. Каждый поставщик имеет разные атрибуты. В итоге всех манипуляций по приведению в порядок сейчас на сайте порядка 5 тысяч атрибутов.

Каким образом решить эти проблемы?

Если кто-то может предложить помощь, готов рассмотреть - пишите в личку. 

Ну то что вы описали, мне кажется, никто не сможет дать вам ответ. Я не могу представить что там в базе данных атрибутов со всеми манипуляциями какие там связи остались удалились нарушились и так далее. Тут мои полномочия все. 

Ищите какой то один инструмент для работы с атрибутами и решайте все вопросы через него.

[vier]

17.07.2024 в 11:58, partshez сказал:

Каждый поставщик имеет разные атрибуты. В итоге всех манипуляций по приведению в порядок сейчас на сайте порядка 5 тысяч атрибутов.

Каким образом решить эти проблемы?

модулем по Атрибутам - "Attribute Text Select" (ATS)

Объединить схожие, "разорвать" мульти-Значения на множественные, массово Удалить не нужные, массово Добавить нужные, массово Изменить (отредактировать) Значения атрибутов и много чего еще.

сам модуль -

 

17.07.2024 в 11:58, partshez сказал:

Если кто-то может предложить помощь

 

здесь главное нужно понимать Структуру и Специфику сайта. В частности - Товаров и его Атрибутов.

Ведь одни и те же схожие, казалось бы, Атрибуты, могут по Специфике быть разными и важными. А другие Атрибуты/Значения, казалось бы по названию, полностью разными - являются дублями и их нужно объединить.

(Все операции в АТС сохраняют связь с Товарами, а повторные дубли - автоматом объединяются)

 

даже если объединять сами Атрибуты с частично одинаковыми Значениями, то их одинаковые Значения не дублируются.

 

 

[partshez]

17.07.2024 в 14:32, vier сказал:

модулем по Атрибутам - "Attribute Text Select" (ATS)

Объединить схожие, "разорвать" мульти-Значения на множественные, массово Удалить не нужные, массово Добавить нужные, массово Изменить (отредактировать) Значения атрибутов и много чего еще.

 

Вчера купили Ваш модуль и установили на сайт. Будем разбираться

[partshez]

17.07.2024 в 13:19, Rassol2 сказал:

Еще проблема. Очень долго открывается и выполняется любое действие в Менеджере заданий (CRON) в админке. Например, нажимаешь Рестарт задания или Отключить задание, Изменить время... страница открывается несколько минут. 

По атрибутам понял. Спасибо!

А по этому вопросу что можете подсказать?

[Rassol2]

17.07.2024 в 07:14, partshez сказал:

Еще проблема. Очень долго открывается и выполняется любое действие в Менеджере заданий (CRON) в админке. Например, нажимаешь Рестарт задания или Отключить задание, Изменить время... страница открывается несколько минут. 

сколько у вас заданий там ?
Я видел сложности  когда у пользователей по 50 заданий, но это не вопрос отработки модуля а вопрос отрисовки в браузере.
 

[partshez]

17.07.2024 в 15:56, Rassol2 сказал:

сколько у вас заданий там ?
Я видел сложности  когда у пользователей по 50 заданий, но это не вопрос отработки модуля а вопрос отрисовки в браузере.
 

Понял. Вопрос снят. Сейчас порядка 100 заданий или больше. Много поставщиков приходится держать актуальными. По каждому поставщику по два задания...

Разбил по времени, таймаут сделал 48-72. Порядок выполнения назначен. Парсинг после обработчика запустил в 200 потоков. Но за одни сутки не успеваю все обновить. Часть проектов работает через прокси или с куками. Работа интересная. Спасибо Вам за модуль!

Змінено 17 липня користувачем partshez

[partshez]

Вопрос автору в первую очередь. И может быть кто-то подскажет.

Все больше сайтов переходят на HTTP/3. Симплпарс не может с ними работать. Какие есть варианты кроме парсера на Пайтон?

Автор, рассматриваете работу парсинга с такими сайтами хотя бы в перспективе? Или это нерешаемый вопрос?

[Rassol2]

24.07.2024 в 07:06, partshez сказал:

Вопрос автору в первую очередь. И может быть кто-то подскажет.

Все больше сайтов переходят на HTTP/3. Симплпарс не может с ними работать. Какие есть варианты кроме парсера на Пайтон?

Автор, рассматриваете работу парсинга с такими сайтами хотя бы в перспективе? Или это нерешаемый вопрос?

http 3 в cURL поддерживается по умолчанию вроде как с php 8+
Модуль работает на движке opencart 2 и 3 который в свою очередь не поддерживает php 8

Отсюда либо самому пере собирать библиотеку curl в более ранних версиях php что не реально в масмаркете. Либо ждать модуль на версии php 8 и новее.
А вот об это сейчас не идет речи. Почти все разработки модуля SimplePars заморожены на неопределенный срок.

[Vizex]

Может кто-то сталкивался или автор поможет.

Стартовая ссылка "https://site.com.ua/ua/remont/bojlery-kolonki-vodonagrevateli/2070-296381/"

Сбор ссылок через текст начала и конца, определяет количество страниц нормально, но все ссылки в "Очередь сканирования ссылок" имеют вид:

https://site.com.ua/./
https://site.com.ua/?p=2
https://site.com.ua/?p=3
https://site.com.ua/?p=4
https://site.com.ua/?p=5
https://site.com.ua/?p=6

 

Захватывает ссылки на товары только со стартовой ссылки(страницы).

[Rassol2]

24.07.2024 в 15:22, Vizex сказал:

Может кто-то сталкивался или автор поможет.

Стартовая ссылка "https://site.com.ua/ua/remont/bojlery-kolonki-vodonagrevateli/2070-296381/"

Сбор ссылок через текст начала и конца, определяет количество страниц нормально, но все ссылки в "Очередь сканирования ссылок" имеют вид:

https://site.com.ua/./
https://site.com.ua/?p=2
https://site.com.ua/?p=3
https://site.com.ua/?p=4
https://site.com.ua/?p=5
https://site.com.ua/?p=6

 

Захватывает ссылки на товары только со стартовой ссылки(страницы).

Не совсем понимаю что вы имеете в виду.
Ссылки очереди сканирования будут такие как модуль смог найти по вашим настройкам фильтра очереди сканирования. И ссылки будут из кода страницы.
То есть елси под ваши настройки попадают именно такие ссылки то они и записываются в очередь, и ни как иначе.

[Vladimir99]

Добрый день. Может кто сталкивался - подскажите. Как работает в Обработчик XML в самом низу поле " Чего в товарах быть не должно" - пробовал по разному не сработало

Допустим нужно убрать "</param>" с ленты товаров

[partshez]

27.07.2024 в 17:23, Vladimir99 сказал:

Добрый день. Может кто сталкивался - подскажите. Как работает в Обработчик XML в самом низу поле " Чего в товарах быть не должно" - пробовал по разному не сработало

Допустим нужно убрать "</param>" с ленты товаров

Просто не настраивайте эту границу и не указываете ее в атрибутах в Парсинг в ИМ.

Или конкретизируйте вопрос.

Сейчас вы говорите модулю, чтобы он не обрабатывал страницы, на которых есть указанный тег. 

Здесь можно указать, например, бренд, товары которого модуль должен игнорировать

Змінено 27 липня користувачем partshez

[Vladimir99]

Благодарю за ответ. Мне нужно убрать єтот тег со страницы при парсинге. Думал это поле именно для этого. Может есть какое выражение сделать так ?

[partshez]

27.07.2024 в 18:56, Vladimir99 сказал:

Благодарю за ответ. Мне нужно убрать єтот тег со страницы при парсинге. Думал это поле именно для этого. Может есть какое выражение сделать так ?

Пишите в личку. Дайте настройки проекта. Опишите конкретнее Ваши пожелания

[partshez]

27.07.2024 в 18:56, Vladimir99 сказал:

Может есть какое выражение сделать так ?

Через поиск/замену

[3DO]

12.07.2024 в 12:30, bodyak0 сказал:

А кто сказал что я не приобретал лицензию?

 

Батенька, засветились, где только возможно, интернет всё помнит

Змінено 7 серпня користувачем 3DO

[csm300]

Подскажите, пожалуйста, @Rassol2
При повторном парсинге (обновлении) поле модель обновляться не будет ни в каком случае?

[Rassol2]

08.08.2024 в 08:19, csm300 сказал:

Подскажите, пожалуйста, @Rassol2
При повторном парсинге (обновлении) поле модель обновляться не будет ни в каком случае?

Здравствуйте.
Обновляются исключительно те поля где вы выбрали действие обновить.

[csm300]

08.08.2024 в 16:21, Rassol2 сказал:

Здравствуйте.
Обновляются исключительно те поля где вы выбрали действие обновить.

Я о том, что там такого действия нет, и оно, как я понял, не предусмотрено, то есть обновлять поле модель невозможно, верно?