[Поддержка] SimplePars - Универсальный парсер для ИМ

[xshader]

@Rassol2 Очередная порция хотелок от меня) Т.к. парсинг делаю из разных источников с целью обогащения описания товара, то было бы супер иметь возможность в настройках парсинга в ИМ для поля описание задавать опционально что делать при обновлении - заменить, добавлять в начало имеющегося, добавлять в конец имеющегося.

 

[Reanimaster]

Всем доброго времени суток. Есть ли возможность после разбора XML извлечь ссылки из тэгов URL, что бы использовать в проекте ссылки на товары на доноре? По аналогии со сбором ссылок с сайтмап.

[Axelenz]

1 час назад, xshader сказал:

@Rassol2 Очередная порция хотелок от меня) Т.к. парсинг делаю из разных источников с целью обогащения описания товара, то было бы супер иметь возможность в настройках парсинга в ИМ для поля описание задавать опционально что делать при обновлении - заменить, добавлять в начало имеющегося, добавлять в конец имеющегося.

{reg[#^#]}|Любой текст - Добавить в начало текста что то.
{reg[#$#]}|Любой текст - Добавить в конец текста что то.
{reg[#$#m]}|Любой текст - Добавить любой текст в начало каждой строки.
{reg[#^#m]}|Любой текст - Добавить любой текст в конец каждой строки. (Обратит внимание что конец строки идет после символа перехода на новую строку.)

Читайте мануал по модулю и хотелок будет меньше.

И почему это делать нужно именно "что делать при обновлении" ?

 

В АОП есть подобная возможность "Соединить с описанием:" и "добавить сверху", "добавить снизу", но... SKU с разных источников далеко не всегде одинаковы... Или как вариант искать, может совпадает по альтернативному SKU...

Змінено 7 лютого 2021 користувачем Axelenz

[kostya242]

14 минут назад, Axelenz сказал:

{reg[#$#]}|Любой текст - Добавить в конец текста что то.

 

С этой конструкцией к уже имеющемуся описанию товаров можно добавить дополнительное, правильно понял?

[Axelenz]

4 минуты назад, kostya242 сказал:

 

С этой конструкцией к уже имеющемуся описанию товаров можно добавить дополнительное, правильно понял?

Эта регулярка добавляет при парсинге товара в конец существующего у донора текста любой свой.

[partshez]

40 минут назад, Axelenz сказал:

Эта регулярка добавляет при парсинге товара в конец существующего у донора текста любой свой.

И полностью заменяет существующее на Вашем сайте описание! 

Змінено 7 лютого 2021 користувачем partshez

[Rassol2]

6 часов назад, xshader сказал:

@Rassol2 Очередная порция хотелок от меня) Т.к. парсинг делаю из разных источников с целью обогащения описания товара, то было бы супер иметь возможность в настройках парсинга в ИМ для поля описание задавать опционально что делать при обновлении - заменить, добавлять в начало имеющегося, добавлять в конец имеющегося.

 

Да это есть в планах.
Возможно даже скоро реализую.

[Rassol2]

В 06.02.2021 в 15:12, kostya242 сказал:

 

Сейчас вот так

 

  Показать контент

 

Как я написал суть то в чем.
Модуль заполняет данные в товаре, может заполнить в категории при создании.
Но он никак не регулирует как составить ссылку на товар с учетом всех параметров.
Это в не компетенции SimplePars за это отвечает сам движок.
Могу только посоветовать проверить если ли seo url в категории и в товаре где вы хотите получить полную ссылку, с учетом категорий.

Но это не вопрос к самому парсеру. Вот если не будет заполнятся юрл тогда да это вопрос сюда.

[Rassol2]

6 часов назад, Reanimaster сказал:

Всем доброго времени суток. Есть ли возможность после разбора XML извлечь ссылки из тэгов URL, что бы использовать в проекте ссылки на товары на доноре? По аналогии со сбором ссылок с сайтмап.

Да вы можете после разбора xml сделать границу парсинга и парсить ссылку из тега URL ну и дальше использовать как вам будет угодно.

[xshader]

4 часа назад, partshez сказал:

И полностью заменяет существующее на Вашем сайте описание! 

Мой исходный запрос как раз касался ситуации, когда я спарсил описание с Донора 1 и хочу обогатить описание этого же товара с Донора 2, не затирая существующее описание. Пока не понял как это сделать.

[Rassol2]

5 часов назад, Axelenz сказал:

{reg[#^#]}|Любой текст - Добавить в начало текста что то.
{reg[#$#]}|Любой текст - Добавить в конец текста что то.
{reg[#$#m]}|Любой текст - Добавить любой текст в начало каждой строки.
{reg[#^#m]}|Любой текст - Добавить любой текст в конец каждой строки. (Обратит внимание что конец строки идет после символа перехода на

А вот ту ошибочку нашел
В мануале нужно поправить.

должно быть так.
{reg[#^#m]}|Любой текст - Добавить любой текст в начало каждой строки.
{reg[#$#m]}|Любой текст - Добавить любой текст в конец каждой строки. (Обратит внимание что конец строки идет после символа перехода на

[Rassol2]

1 минуту назад, xshader сказал:

Мой исходный запрос как раз касался ситуации, когда я спарсил описание с Донора 1 и хочу обогатить описание этого же товара с Донора 2, не затирая существующее описание. Пока не понял как это сделать.

На данный момент нет такой возможности но скоро я думаю добавлю ее.

[xshader]

5 часов назад, Axelenz сказал:

И почему это делать нужно именно "что делать при обновлении" ?

 

В АОП есть подобная возможность "Соединить с описанием:" и "добавить сверху", "добавить снизу", но... SKU с разных источников далеко не всегде одинаковы... Или как вариант искать, может совпадает по альтернативному SKU...

Делать при обновлении потому что идея хотелки как раз обновлять (обогащать с нового донора) описание существующего товара. 

[Rassol2]

Еще есть одна интересная конструкция в регулярных выражениях я ее в заметки не записывал.
Может сегодня добавлю.
Правда я не знаю как ее правильно объяснить.
{reg[#^(.*?simplepars){2}\K.*#]}|
Это правило выделяет все что будет после совпадения с этой регуляркой
{reg[#^(.*?simplepars)#]}|

При том что учитывается только после второго совпадения {2}\K и только тогда начинает выделять.

Наверное проще показать это на примере.
Допустим у нас есть строка.
Есть в simplepars еше одна прикольная возможность, даже не то что бы в simplepars а в самих регулярных выражениях. Но simplepars их поддерживает.
И мы хотим в ней удалить все после второго слова simplepars.
И вот как это будет работать.
 

Спойлер

 

[Reanimaster]

24 минуты назад, Rassol2 сказал:

Да вы можете после разбора xml сделать границу парсинга и парсить ссылку из тега URL ну и дальше использовать как вам будет угодно.

Не совсем понял. Как мне из списка ссылок на разборы файла, получить список ссылок сайта донора в поле ссылок для парсинга.

[Rassol2]

2 минуты назад, Reanimaster сказал:

Не совсем понял. Как мне из списка ссылок на разборы файла, получить список ссылок сайта донора в поле ссылок для парсинга.

И тут я полностью запутался.
Распишите полную задачу. Что и откуда и зачем.
 

[partshez]

7 часов назад, Reanimaster сказал:

Всем доброго времени суток. Есть ли возможность после разбора XML извлечь ссылки из тэгов URL, что бы использовать в проекте ссылки на товары на доноре? По аналогии со сбором ссылок с сайтмап.

В выгрузке xml нет ссылок на товар донора, насколько я понимаю. Точка 

Для получения дополнительной информации о товаре с донора можно настроить обычный парсинг с использованием идентификатора из выгрузки. 

Змінено 7 лютого 2021 користувачем partshez

[Reanimaster]

15 минут назад, Rassol2 сказал:

И тут я полностью запутался.
Распишите полную задачу. Что и откуда и зачем.
 

))

Допустим. Есть фид. В котором информации весьма мало. Название. Одна фотка. Цена. Главная категория. А на сайте доноре все норм, можно спарсить. Но, карты сайта нет. Собирать ссылки долго.

Что я имею ввиду

1) Разбираем фид на части.

2) По этому фиду как то сделать сбор ссылок из тега <url>

3) В собранных ссылках имеем ссылки на сайт донора, а не на куски фида.

 

Я по сути сразу проще написал. По аналогии с картой сайта. Или немного расширить функционал сбора ссылок с сайтмап. Дав возможность указать там границы поиска ссылок.

[Reanimaster]

3 минуты назад, partshez сказал:

В выгрузке xml нет ссылок на товар донора, насколько я понимаю. Точка 

Для получения дополнительной информации о товаре с донора можно настроить обычный парсинг с использованием идентификатора из выгрузки. 

Это как? В 99% случаев ссылка на товар есть. Или на фотку, что тоже неплохо.

[partshez]

29 минут назад, Reanimaster сказал:

Это как? В 99% случаев ссылка на товар есть. Или на фотку, что тоже неплохо.

Вот выгрузка Розетки. Ссылок на товар нет. Через ссылки на фото товар найти нет возможности. Но автор что-то предложит, как всегда!

Извините, был не прав. http://prntscr.com/ynrrc2  Есть ссылки в выгрузке.

Змінено 7 лютого 2021 користувачем partshez

[Flint2000]

16 хвилин назад, Reanimaster сказав:

2) По этому фиду как то сделать сбор ссылок из тега <url>

 

10 минут работы в любом текстовом редакторе

[Rassol2]

16 минут назад, Reanimaster сказал:

))

Допустим. Есть фид. В котором информации весьма мало. Название. Одна фотка. Цена. Главная категория. А на сайте доноре все норм, можно спарсить. Но, карты сайта нет. Собирать ссылки долго.

Что я имею ввиду

1) Разбираем фид на части.

2) По этому фиду как то сделать сбор ссылок из тега <url>

3) В собранных ссылках имеем ссылки на сайт донора, а не на куски фида.

 

Я по сути сразу проще написал. По аналогии с картой сайта. Или немного расширить функционал сбора ссылок с сайтмап. Дав возможность указать там границы поиска ссылок.

два пути решения.

 

Первый.
Делите фид на части.
Делаете границу на получения ссылки и каждого отдельного товара.
Парсите все в прайс лист в одну колонку.

Затем с прайс листа можете скопировать ссылки в графу ссылки на товар.

Второй вариант.
Записываете ссылку на фид в очередь.
Выбираете собирать ссылки с карты сайта.
открываете /admin/model/catalog/simplepars.php
Находите строку
public function ParsLink($data, $setting, $dn_id){

И под ней меняете один символ местами, решетку # что бы вышло вот так.
 

Спойлер

И все теперь не нужно обрабатывать фид, модуль напрямую соберет ссылки с целого фида.
Ссылки будет брать с тегов <url> </url>

[Rodion1991]

Доброго времени суток. 

Так и не поддается решению проблема с ошибкой при парсинге: 

Парсинг : ОШИБКА запроса  | Код ответа = 23 | Текст ответа = Failed reading the chunked-encoded stream | Ссылка - http://ссылка

Раньше сайт парсился без проблем.

Подскажите, куда копать? 

[yura1980]

Добрый вечер, уважаемые. Не могу понять, почему не парсится фото, кто может подсказать?

 

Спойлер

https://prnt.sc/yo0v9p 

https://prnt.sc/yo1ikg

https://prnt.sc/yo1ko8      

 

 

[Rassol2]

46 минут назад, Rodion1991 сказал:

Доброго времени суток. 

Так и не поддается решению проблема с ошибкой при парсинге: 

Парсинг : ОШИБКА запроса  | Код ответа = 23 | Текст ответа = Failed reading the chunked-encoded stream | Ссылка - http://ссылка

Раньше сайт парсился без проблем.

Подскажите, куда копать? 

здравствуйте.
Дайте ссылку что бы я попробовал у себя.
Либо сделайте запрос с демо сайта, что исключить блокировки со стороны донора.