[Поддержка] SimplePars - Универсальный парсер для ИМ

[Reanimaster]

В 23.07.2021 в 13:23, Rassol2 сказал:

Выкладывай конечно.

Спасибо. Все же из уважения к труду спросил)
И еще вопрос. В границах допуска, как мне перечислить много данных.

517 артикулов, если быть точным?

[Rassol2]

Спасибо. Все же из уважения к труду спросил)
И еще вопрос. В границах допуска, как мне перечислить много данных.
517 артикулов, если быть точным?

Через поиск замену.
Заменяйте на что-то эти 500 артикулов ,проверяйте на присутствие этого что-то в допуске.

Отправлено с телефона через Tapatalk

[Reanimaster]

Уважаемые пользователи. Сваял для себя мод, выкладываю может кому пригодится.

 

1) Увеличил лимит потоков. Для чего?

• Парсинг из кеша.
• Обработка XML/YML фидов, для обновления по крон или заливки без фото. Смысл в том что мы просто обрабатываем текстовые данные и обращаемся сами к себе, а не донору, и если позволяют ресурсы - почему бы их не использовать.

2) Увеличил лимит ожидания выполнения запроса. Для чего?

• Опять же таки XML/YML фиды. Бывают по 300-400 МБ и стандартного максимума в 25 секунд далеко не хватает. Либо, порой донор отдает фид "лениво". По кусочку. Опять же таки, если позволяют ресурсы - почему нет?

3) Добавил поле в модуль и карточку товара Ссылка на товар у донора. Для чего и почему не Location?

• Как минимум для отладки. Сравнить товар с донором не копируя и вставляя ссылку, а прям из карточки товара по клику на кнопку в новой вкладке откроется товар у донора.
• Потому что Location обрезает данные. Да можно это исправить в базе данных. Ну тут уже кому как предпочтительнее
• Потому что Location можно использовать и для других нужд. Того же идентификатора. Лимит у Location 128 символов. Остальные поля, используемые в качестве идентификатора не могут таким похвастать. Кроме наименования разумеется, но из Наименования делать идентификатор, как минимум "плохой тон".

Модификатор писался для версии 4.6. Но должен работать начиная с версии, где была введена поддержка HyperProductModels.

• Универсальный установщик для 2.3/3.0 opencart/ocstore.
• В модуле пункт находится на вкладке Данные внизу, под Закупочной ценой.
• В карточке товара пункт находится под вкладкой Расположение
• Файлы не заменяет, только модификатор, кто не знает что это гуглим Система Модификаторов Opencart.
• Делался для себя, соответственно поставляется As Is.

 

Установка:

• Установить через стандартный установщик
• Обновить модификаторы.
• Если опенкарт 3 так же обновить кеш шаблона и SAAS. (Шестеренка в правом верхнем углу на главной странице админки.)

 

Немного скринов.

Спойлер

 

 

 

 

 

P.S. НИ В КОЕМ СЛУЧАЕ НЕ НУЖНО ПАРСИТЬ ДОНОРА БОЛЬШЕ ЧЕМ 5 ПОТОКОВ! Можно парсить из кеша, при условии что не будут скачиваться картинки, в том числе в описании. Одним словом не будет обращений к донору.

 

 

SimplePars+Threads+Time+Link.ocmod.zip

 

Змінено 23 липня 2021 користувачем Reanimaster

[Reanimaster]

В 23.07.2021 в 13:43, Rassol2 сказал:

Заменяйте на что-то эти 500 артикулов ,проверяйте на присутствие этого что-то в допуске.

Понял. Бглагодарю.

[Starychenko]

В 22.07.2021 в 01:19, Rassol2 сказал:

В менеджере юрл вы можете отфильтровать ссылки по ошибками. Причем выбрать определенные ошибки. И удалить их из списка.

 

У меня каждый день собираться по cron ссылки и после этого обновляются товары. То есть в этом нет смысла. Я их удалю и потом они добавятся повторно.

[Starychenko]

@Rassol2

 

Вот мы обсуждали доработку. Это по Вашей просьбе напомнить.

 

 

[Malciska]

Возможно ли собрать (только собрать, без загрузки товаров в магазин) ссылки на товары у донора, с условиям: Цена 100+, наличие больше 0.

Возможно так?

[partshez]

48 минут назад, Malciska сказал:

Возможно ли собрать (только собрать, без загрузки товаров в магазин) ссылки на товары у донора, с условиям: Цена 100+, наличие больше 0.

Возможно так?

А если настроить парсинг в csv и указать условие допуска для обработки страниц по цене и наличию? Настроить поле url, наличие, цена  и артикул, например. Получите ссылки, которые скопировать и вставить в рабочий проект для парсинга в магазин. Я бы начал с этого.

[Reanimaster]

52 минуты назад, Malciska сказал:

Возможно ли собрать (только собрать, без загрузки товаров в магазин) ссылки на товары у донора, с условиям: Цена 100+, наличие больше 0.

Как вариант собрать все ссылки. Потом через границы допуска спарсить в CSV только нужные. На выходе будет список ссылок.

[Reanimaster]

Только что, partshez сказал:

Я бы начал с этого.

Одинаково мыслим прям))

[partshez]

1 минуту назад, Reanimaster сказал:

Одинаково мыслим прям))

[Rassol2]

1 час назад, Malciska сказал:

Возможно ли собрать (только собрать, без загрузки товаров в магазин) ссылки на товары у донора, с условиям: Цена 100+, наличие больше 0.

Возможно так?

Только как вам предложили, поскольку модуль не заглядывает внутрь ссылки. А значит в момент прасинга он не может принять ращение опираясь на содержимое ссылки.
А сделать что бы он заходил еше и в каждую ссылку сильно дорого по ресурсами и времени. Да и в бан можно попасть.

[Rassol2]

1 час назад, Starychenko сказал:

@Rassol2

 

Вот мы обсуждали доработку. Это по Вашей просьбе напомнить.

Если вы про авторизацию, то да это будет в следующем цикле по работе с авторизацией. Это не совсем мелки правки, они записаны на реализацию.
Я в модуле по кругу хожу каждый раз делая тематически веши.

[Malciska]

Очень Очень Очень простая, но нужная хотелка :))

 

Возможность сортировки проектов в списке по алфавиту, по айди :)) 

[Rassol2]

@Reanimaster вы добавьте в свой модификатор еше что то для понимание что он установлен. Потому что:

 

5 часов назад, Reanimaster сказал:

1) Увеличил лимит потоков. Для чего?

При включении много го кол-ва потомков можно упрется в количество памяти на хостинге. И больше 5 потоком не имеет смысла скорость работы модуля от этого не растет. Делал замеры на доноре, Так что это как и помощь там и сломать все может.
 

5 часов назад, Reanimaster сказал:

2) Увеличил лимит ожидания выполнения запроса. Для чего?

Если время ожидания запроса будет больше времени выполнения скрипта это сломает работу модуля. Так что тут тоже завышать нужно только тем кто в курсе что он делает.

 

Главное что бы теперь пользователи не купились на цифры больше потоков, а то горя отхлебну я.
Объяснять каждому почему так нельзя делать.

А так я буду видить что установлен ваш модификатор, и не сморя на вопрос отправлять к вам или отключать его.
Ибо последствия не предсказуемы.



 

[Reanimaster]

А напомните пожалуйста, Арифметический ИЛИ  работает с описанием?
{desc_1}{|}{desc_2}

Змінено 23 липня 2021 користувачем Reanimaster

[Rassol2]

А напомните пожалуйста, Арифметический ИЛИ  работает с описанием?
{desc_1}{|}{desc_2}

Да работает т

Отправлено с телефона через Tapatalk

[Reanimaster]

13 часов назад, Rassol2 сказал:

Да работает т

Спасибо.

[Reanimaster]

Кстати вспомнил по функционалу доработки.

1) Парсинг рекомендуемых товаров. И заодно было бы отлично, если бы приложили для людей модификатор, который отменяет двустороннее создание связей рекомендуемых товаров. Я намучился одно время с этим мама не горюй.

2) Все же было бы здорово парсить группы атрибутов. По аналогии с опциями. Пускай и не парсить, но хоть существующие выбирать. Опять же таки сделать атрибуты, по аналогии с опциями.

[Rassol2]

2 минуты назад, Reanimaster сказал:

Кстати вспомнил по функционалу доработки.

1) Парсинг рекомендуемых товаров. И заодно было бы отлично, если бы приложили для людей модификатор, который отменяет двустороннее создание связей рекомендуемых товаров. Я намучился одно время с этим мама не горюй.

2) Все же было бы здорово парсить группы атрибутов. По аналогии с опциями. Пускай и не парсить, но хоть существующие выбирать. Опять же таки сделать атрибуты, по аналогии с опциями.

Стол заявок закрыт

[Reanimaster]

20 часов назад, Reanimaster сказал:

Уважаемые пользователи. Сваял для себя мод, выкладываю может кому пригодится.

Кто скачал - скачать новую версию. В предыдущей я допустил ошибку, которая ломала фильтрацию в редакторе товара.

 

SimplePars 100 потоков + Время запроса + Ссылка на товар донора v.1.1

 

SimplePars+Threads+Time+Link_1.1.ocmod.zip

[Reanimaster]

1 минуту назад, Rassol2 сказал:

Стол заявок закрыт

 

Но связанные товары вы все же обещали сделать))

Змінено 24 липня 2021 користувачем Reanimaster

[Malciska]

1. Дата акции. При парсинге ставлю цену как акция для определенной группы покупателей. Старт акции ставится автоматом сегоднешняя дата. Как можно  устанавливать дату окончания акции "сегодня + 1 день" ?

 

2. Проверка границ. Имею цену у донора допустим 570, и у меня цена 620. Хочу через проверку границ настроить :обновлять цену только в случае если у донора цена меньше чем у меня.  Подскажите какую регулярку в проверку писать? 

 

 

[Rassol2]

1 минуту назад, Malciska сказал:

1. Дата акции. При парсинге ставлю цену как акция для определенной группы покупателей. Старт акции ставится автоматом сегоднешняя дата. Как можно  устанавливать дату окончания акции "сегодня + 1 день" ?

Такой возможности нет.
Для этого нужно подымать полностью работу с датами. Под это нету даже подготовленного функционала.

 

2 минуты назад, Malciska сказал:

2. Проверка границ. Имею цену у донора допустим 570, и у меня цена 620. Хочу через проверку границ настроить :обновлять цену только в случае если у донора цена меньше чем у меня.  Подскажите какую регулярку в проверку писать? 

 

Допустим вы спарсили цену 570 у вас в магазине цена 620 для того что бы определить нужно обновлять цену в товаре или нет, необходимо как минимум достать из базы данных цену текущего товара и произвети сравнение. А регулярки тут не помогут.

Такой функционал запишу на будущие. Что бы при обновлении цены можно было выбрать обновлять только если цена меньше или больше текущей.

[Malciska]

9 минут назад, Rassol2 сказал:

Такой возможности нет.
Для этого нужно подымать полностью работу с датами. Под это нету даже подготовленного функционала.

 

Допустим вы спарсили цену 570 у вас в магазине цена 620 для того что бы определить нужно обновлять цену в товаре или нет, необходимо как минимум достать из базы данных цену текущего товара и произвети сравнение. А регулярки тут не помогут.

Такой функционал запишу на будущие. Что бы при обновлении цены можно было выбрать обновлять только если цена меньше или больше текущей.

Автор может имеет другую идею/способ каким образом можно реализовать "анализ конкурентов/выставление конкурентной цены" ?