[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Обновление 4.6-4_beta

Собственные HPH скрипты.
Добавлена возможность изменять значения $script_data['permit']  и возвращать измененные данные обратно в стандартную логику модуля.
Подробнее про этот массив можно прочесть в инструкции https://simplepars.top/index.php?page=note&n=48

Данный массив доступен в следующих режимах работы собственных скриптов.
1) До запуска в Парсинга в ИМ
2) После Парсинга в ИМ

 

Допуски к обработке страницы.

В поле границы добавлена возможность работать с логическими и арифметическими операторами.
Вот здесь

Это доступно как при парсинге в ИМ так и при парсинге в CSV
Так что теперь для допуска можно производить сравнение с учетом логики и математики.

Менеджер URL
Расширил функционал, теперь вы можете выгружать большой обьем ссылок в прайс лист, и скачивать его.
Для этого добавил два новых действия.
 

Спойлер

 

Первый режим просто выгружает все ссылки в прайс лист.
Второй режим выгружает только отфильтрованные ссылки в прайс лист.
Обратите внимание что ссылки до записываются в прайс, и вам нужно самим очищать прайс нажав кнопку Удалить в вкладке где скачивается прайс лист.
Так сделано специально что бы вы могли фильтровать ссылки по нужным параметрам и создавать прайс только с нужными вам ссылками.
Допустим.
Теперь вы можете отфильтровать ссылки определенной категории записать их в файл.
Затем отфильтровать ссылки другой категории и так же до записать их в тот же файл.
В итоге у вас будет прайс лист с ссылками только на определенные категории

 

В прицепи все подробно описал сразу на странице скачивания прайса, что бы у вас не возникало проблем.
 

Спойлер

Так же туда добавил возможность загружать ссылки, которая была уже давно доступна на странице сбора ссылок. Так что про нее я ничего тут не пишу, функция старая и всем известная.

 

Прайс с скачанными ссылками.
После скачивания прайс будет выглядеть так.

Спойлер

По сути это обычный файл csv в котором одна колонка и в ней записаны ссылки, каждая ссылка с новой строки.
Если открыть такой прайс через текстовый редактор то увидите следующие.
 

Спойлер

Собственно именно такие прайс и принимаются обратно на загрузку в магазин.

Надеюсь вам понравится.

[550953]

Добрый день. У донора кривая категория. Как переопределить, если   Behringer в названии категории, то что бы в другую категорию заливало товары?

 

 

 

Спойлер

 

Змінено 1 серпня 2021 користувачем 550953

[Rassol2]

@550953 Здравствуйте.
Пожалуйста прячьте фото под спойлер, так удобнее читать.
 

Спойлер

Переопределить можно через поиск замену.
Категория донора|Категория у вас

 

Так же как и любые замены с любыми другими данными.

[550953]

Как такое победить? 

<a href="#" data-id=" - в этой конструкции разные ID товара, в разном количестве на каждой карточке. В обычной границе на странице Настройка парсинга - показывает один результат-то. Но по факту скрипт не понимает, что на нем надо и остановится.

 

Применил повторяющуюся границу. В повторяющейся границе указал:

"-1" в "с начала", на фото видно что нужный елемент достался.  И пишется вроде как надо. А на деле выходит, как и с 

http://joxi.ru/ZrJGQl4ubbdkRm

 

И в результате это тоже не дало считать ИД первый в хтмл. Граница повторяющаяся тоже заводит в баг - ид один и тот же пишется всем карточкам. В Поиск и Замена на любой странице оба варианта дают мне один и тот же ИД на всех страницах донора

[550953]

Ссылки донора разные, а ИД один и тот же

http://joxi.ru/KAgdZ40cNNPekr

http://joxi.ru/bmonx4dc77goGr

[Rassol2]

11 минут назад, 550953 сказал:

И в результате это тоже не дало считать ИД первый в хтмл. Граница повторяющаяся тоже заводит в баг - ид один и тот же пишется всем карточкам. В Поиск и Замена на любой странице оба варианта дают мне один и тот же ИД на всех страницах донора

и где тут баг ?
 

[Axelenz]

12 минут назад, Rassol2 сказал:

и где тут баг ?

Баг в том, что человек не совсем понимает, какие данные он хочет и может получить с указанной им границы... просто встретил знакомую надпись data-id=

Но зачем она Вам нужна, именно вот эта граница ?

Не пробовали взять, например, product_id = ?

Змінено 1 серпня 2021 користувачем Axelenz

[Rassol2]

@Axelenz Я понял с слов что настройку делает так как ему нужно. Но при этом вылазит баг.
Но я так и не понял что это за баг такой, ведь по описанию я бага там не вижу.

А зачем та или иная граница парсинга, я уже давно не задаю вопросы
 

[550953]

product_id - да это точто надо. Я хотел донорский ид присвоить своим.

[Rassol2]

Только что, 550953 сказал:

product_id - да это точто надо. Я хотел донорский ид присвоить своим.

объясните пожалуйста что за баг ?
В чем он проявляется ?
Так как я не вижу бага по вашим описаниям.

Со всего что вы описали я только заметил вот это
 

Спойлер

В моем модуле такой настройки нет. Отрицательные значения пропуска. Зачем так указывать ?
В остальном багов я не вижу.

[550953]

Rassol2 - да я понял, что не тот совсем ид искал. Axelenz  - подсказал вроде нужный ИД, что бы присвоить айди донорские

[550953]

Обработано ссылок: 0 | Ссылок в очереди: 628 | [Ссылок в проекте: 628] на странице Парсинг в Им! Указал "Код товара", что бы начинался с "pu-" в Поиск и замена. Вошел в Каталог, товары, отфильтровал по началу этому. Получил 627 товаров.

 

По таблице выборку если сделать SELECT * FROM `oc_product` WHERE `model` LIKE '%pu-%'

http://joxi.ru/gmvz84OtddawGm

627 товаров. Один товар теряется это особенность модуля?

Змінено 1 серпня 2021 користувачем 550953

[Rassol2]

1 минуту назад, 550953 сказал:

Обработано ссылок: 0 | Ссылок в очереди: 628 | [Ссылок в проекте: 628] на странице Парсинг в Им! Указал "Код товара", что бы начинался с "pu-" в Поиск и замена. Вошел в Каталог, товары, отфильтровал по началу этому. Получил 627 товаров.

 

По таблице выборку если сделать SELECT * FROM `oc_product` WHERE `model` LIKE '%pu-%'

http://joxi.ru/gmvz84OtddawGm

627 товаров. Один товар теряется это особенность модуля?

Особенность модуля это писать логи.

Комон
Ссылки не равно товары.
Вот если товаров меньше чем ссылок, вы всегда можете пойти в логи и посмотреть по какой ссылке не был создан товар и причину этого.

 

[Rassol2]

Обновления 4.6-5_beta

Работа над ошибками.
1. Исправлена ошибка в работе собственных скриптов в связке с кроном.
Ошибка была связана с тем что в скрипт передавался id товара  равное 0 . Исправлено.

 

2. Так же исправлена ошибка возврата данных  $script_data['permit'] из скрипта обратно модулю.
 

На данный момент это все известные недочеты в плане работы собственных скриптов.
 

[Reanimaster]

Добрый день. Обратил внимание, если парсить описание с картинками на разных языках - модуль создает дубли фото.

[Rassol2]

2 часа назад, Reanimaster сказал:

Добрый день. Обратил внимание, если парсить описание с картинками на разных языках - модуль создает дубли фото.

Да так и есть. Это не ошибка.

[Dmitry76]

Всем привет!
Кто знает, подскажите, Код товара [Модель] можно ли изменить при обновлении товаров? А то написано, что только при добавлении можно...

[Rassol2]

1 минуту назад, Dmitry76 сказал:

Всем привет!
Кто знает, подскажите, Код товара [Модель] можно ли изменить при обновлении товаров? А то написано, что только при добавлении можно...

Нет нельзя.
Когда это делал на это была веская причина, сейчас уже нет такой причины но исторически обновление в это поле не сделано

[partshez]

26 минут назад, Dmitry76 сказал:

Всем привет!
Кто знает, подскажите, Код товара [Модель] можно ли изменить при обновлении товаров? А то написано, что только при добавлении можно...

Удалить товары этого проекта и залить заново с измененным Кодом товара

[Dmitry76]

1 минуту назад, partshez сказал:

Удалить товары этого проекта и залить заново с измененным Кодом товара

Проблематично 160 К товаров удалить без последствий

[Dmitry76]

27 минут назад, Rassol2 сказал:

Нет нельзя.
Когда это делал на это была веская причина, сейчас уже нет такой причины но исторически обновление в это поле не сделано

В дальнейшем это будет реализовано или нет?

[Rassol2]

3 минуты назад, Dmitry76 сказал:

В дальнейшем это будет реализовано или нет?

Да это нужно будет доделать.

В дальнейшем поправлю.

Сейчас можете записать нужное значение в любое другое поле допустим mpn
и затем одним запросом обновить.

UPDATE oc_product SET model = mpn 

предварительно сделайте бекап базы данных.

[kamrik]

Подскажите. При работе с xml нужно ограничивать потоки?

[Rassol2]

Только что, kamrik сказал:

Подскажите. При работе с xml нужно ограничивать потоки?

Нет, так как основной парсинг идет с вашего сервера. Сами себя не забаните )

[Reanimaster]

19 часов назад, Rassol2 сказал:

Да так и есть. Это не ошибка.

Спасибо. Не планируете ли добавить функцию перезаписи? Ну что бы дубли не делать. У меня ситуация, что вместо 6 Гб фоток из описания - 12 Гб получилось.