[Поддержка] SimplePars - Універсальний парсер для ІМ

[semen78]

Всем привет! 
немного не понимаю, хочу спарсить характеристики, что бы в прайсе потом было так: 

 

 

В вверху в столбиках название характериситки и потом внизу ее значение, каждая строчка это 1 товар.

С помощью поиск/замена делаю вот так:

 

на выходе получаю все в куче:

 

как сделать что бы характеристики разбились по столбикам?

[dvk18]

9 минут назад, semen78 сказал:

как сделать что бы характеристики разбились по столбикам?

можно, например, загрузить через АОП, а потом выгрузить

[semen78]

22 минуты назад, dvk18 сказал:

можно, например, загрузить через АОП, а потом выгрузить

Так с помощью парсера не сделать так? Зачем тогда обозначать тегом {csvnc} значение характеристики (это подсказал автор модуля @Rassol2), если можно задать просто границы парсинга и результат будет тот же

[dvk18]

если есть какая-то логика, то так можно сдвигать колонки

[Reanimaster]

2 часа назад, Rassol2 сказал:

Все кому нужно играйтесь, проект не коммерческий судьба его неизвестна.

  

[partshez]

3 часа назад, Rassol2 сказал:

Все кому нужно играйтесь, проект не коммерческий судьба его неизвестна.

Поигрался. Появились кракозябры. Изменил кодировку прайса на UTF-8. Теперь все супер!!!   http://prntscr.com/10m82uj

Автору низкий поклон!

[Yellow1337]

Здравствуйте.
Очень нужна помощь с настройкой парсинга сайта jucarii.md

1. На сайте доноре товары находятся в подкатегориях но структура категорий не подходит для нового сайта, цель сделать так чтобы товары из категорий x,y,z с сайта донора попадали в категорию @ на сайте shopi.md «список что и куда переносить я предоставлю»
2. Цены на сайте показываются только для зарегистрированных пользователей, надо сделать две цены одну розничную «наценка (0-500)*1.5;(500-700)*1.4;(700-99999999999)*1.3&{10|>}» и вторая  закупочная её надо выводить в поле UPC «наценка *0,8»
3. Ариткул товара находится в названий «Самолёт инерционный на подставке Арт . 0406-2» его надо убрать из названия и показывать только в админке в поле SKU (пробовал использовать правило «{reg[#(.*?)\. ?(.*?)$#]}|$2» но оно часто не работает)
4. Парсинг надо настроить так чтобы он проверял сайт донор раз в день добавлял новые товары и указывал количество 0 на те товары которых нет в наличий (когда товара нет в наличий он не отображается на сайте доноре) при этом надо сделать так чтобы он не обновлял название, фото и описание уже импортированных товаров так как они будут изменятся.
5. Модель товара на сайте доноре индивидуален и прописан в url и названий картинки, на сайте shopi.md можно так же использовать как модель с приставкой «-R» в конце чтобы в будущем не было конфликтов с другими товарами.

Кто может отпищитесь пожалуйста, желательно сразу с ценой.
Малая часть настроек уже сделана будет прикреален файл
SPsetting-1 (1).json

[Rassol2]

1 час назад, partshez сказал:

Поигрался. Появились кракозябры. Изменил кодировку прайса на UTF-8. Теперь все супер!!!   http://prntscr.com/10m82uj

Автору низкий поклон!

Да забыл указать что прайс должен быть в формате UTF-8
Это да добавлю. Так как база данных работает в этом формате.

[Rassol2]

3 часа назад, semen78 сказал:

как сделать что бы характеристики разбились по столбикам?

Разбитие по столбикам сделать не получится.
Парсер знает только про те атрибуты которые есть в момент парсинга, по этому он не может знать про то сколько столбиков выделять под атрибуты.
И организовать это нет возможности.

[Rassol2]

4 часа назад, Malciska сказал:

Предложение улучшения функционала модуля.

 

Допустим я в проекте настроил сбор ссылок на проект, ссылки собрал спарсил-обработал и сохранил ссылки в проекте.

И ставлю проект на крон раз в месяц с заданием "сборка ссылок".

 

Предложение : После крона, открываю проект и сразу видно появились ли у донора новые товары которые меня интересуют.

(допустим отображать сохраненные заранее ссылки болдом, а новые - стандартным шрифтом. Или располагать внизу под каким нибудь разделителем "новые ссылки")

идея неплохая, но вы сейчас можете это увидеть через редактор товара выбрав просто отфильтровать товары по дате добавления.
И модуль выдаст вам список товаров который был добавлен в определенную дату. Тем самым вы сразу видите что было добавлено что нет. 

[Rassol2]

1 час назад, partshez сказал:

Поигрался. Появились кракозябры. Изменил кодировку прайса на UTF-8. Теперь все супер!!!   http://prntscr.com/10m82uj

Автору низкий поклон!

 

2 часа назад, Reanimaster сказал:

  

Вы главное сообщите когда закроете хотя бы одно задание при помощи скрипта, все ли сработало.

[Rassol2]

так же с скриптом можно немного импровизировать.
К примеру все категории можно просто записать в текстовый документ, назвать его как угодно, только что бы формат был csv.
Ну и если нужно сами указываем разделитель.

Спойлер

Далее закидываем этот файл в фтп /admin/uploads/ и выбираем его в скрипте.
 

Спойлер

Так же самая форма.

Еше раз скидываю архив, тут добавил тайтл.spcats.zip

[partshez]

55 минут назад, Rassol2 сказал:

идея неплохая, но вы сейчас можете это увидеть через редактор товара выбрав просто отфильтровать товары по дате добавления.
И модуль выдаст вам список товаров который был добавлен в определенную дату. Тем самым вы сразу видите что было добавлено что нет. 

Вопрос не про товар, а именно новые ссылки. Которых не было раньше в списке ссылок на товар. Я так понимаю. И интересовало бы это

[partshez]

57 минут назад, Rassol2 сказал:

 

Вы главное сообщите когда закроете хотя бы одно задание при помощи скрипта, все ли сработало.

Приступаю к работе на реальном сайте заказчика именно по этому вопросу. Отпишусь

Еще один старый заказчик обратился именно с этим вопросом...

Змінено 15 березня 2021 користувачем partshez

[partshez]

Вопрос. Товар лежит в главной категории Тест, например, с дальнейшей вложенностью донора.

Задача, убрать главную категорию Тест и первую за ней сделать главной. Тест-Мебель сделать Мебель. Тест-Кровати сделать Кровати. Тест-Диваны сделать Диваны...

Не через повторный парсинг. Этот-то вариант понятен.

Змінено 15 березня 2021 користувачем partshez

[Axelenz]

1 час назад, Rassol2 сказал:

так же с скриптом можно немного импровизировать.
К примеру все категории можно просто записать в текстовый документ, назвать его как угодно, только что бы формат был csv.

А почему нельзя по такому же принципу сделать сопоставление атрибутов для мультиязычного ?

Например, парсятся атрибуты на русском. Заливаются на сайт. Теперь с базы вытягиваются эти спарсенные атрибуты, а также вытягивается их attribute_id и language_id.

Дальше парсятся с донора атрибуты на другом языке, например, на украинском.

Теперь в скрипте путём выбора делаем соответствие атрибутов с донора на обеих языках. А поскольку на первые атрибуты имеем сразу же их attribute_id, то остаётся только указать в какой именно language_id должны попадать вторые атрибуты...

Наверное можно будет связать Наименования атрибутов со Значением атрибутов ?

Ну это я себе так теоретически представляю )))

[Rassol2]

34 минуты назад, partshez сказал:

Вопрос. Товар лежит в главной категории Тест, например, с дальнейшей вложенностью донора.

Задача, убрать главную категорию Тест и первую за ней сделать главной. Тест-Мебель сделать Мебель. Тест-Кровати сделать Кровати. Тест-Диваны сделать Диваны...

Не через повторный парсинг. Этот-то вариант понятен.

Вырезать первое вхождение. И вот у вас уже его нет и начинается все с второго.
Через поиск замену как и другие элементы.

[Rassol2]

24 минуты назад, Axelenz сказал:

А почему нельзя по такому же принципу сделать сопоставление атрибутов для мультиязычного ?

Например, парсятся атрибуты на русском. Заливаются на сайт. Теперь с базы вытягиваются эти спарсенные атрибуты, а также вытягивается их attribute_id и language_id.

Дальше парсятся с донора атрибуты на другом языке, например, на украинском.

Теперь в скрипте путём выбора делаем соответствие атрибутов с донора на обеих языках. А поскольку на первые атрибуты имеем сразу же их attribute_id, то остаётся только указать в какой именно language_id должны попадать вторые атрибуты...

Наверное можно будет связать Наименования атрибутов со Значением атрибутов ?

Ну это я себе так теоретически представляю )))

Ну допустим мы можем сделать сопоставление и заполнить название второго атрибута.
Но как это сделать с учетом того что и значении должно попасть во второй язык и при этом не затирать существующие в первом.

[cmamonov]

Добрый день. Подскажите пожалуйста, как регулярным выражением удалить в конце значения атрибута эти обозначения Ah, V, Nm, m/s², dB(A), mm, /min и тд. Это атрибуты однонго товара, в других товарах есть другие обозначения...

            
                        {csvnc}Вид акумуляторного блока{csvnc}LiHD {csvnc}
                        Напруга акумуляторного блока{csvnc}18 V{csvnc}
                        Ємність акумулятора{csvnc}2 x 5.5 Ah{csvnc}
                        Макс. крутний момент (м'який){csvnc}60 Nm{csvnc}
                        Імпульсний момент{csvnc}65 Nm{csvnc}
                        Макс. крутний момент (жорсткий){csvnc}120 Nm{csvnc}
                        Регулювання крутного моменту{csvnc}1 - 20 Nm{csvnc}
                        Діаметр свердління, сталь{csvnc}13 mm{csvnc}
                        Ø свердління, м'яка деревина{csvnc}65 mm{csvnc}
                        Кількість обертів холостого ходу{csvnc}0 - 500 / 0 - 2050 / 0 - 3800 /min{csvnc}
                        Діапазон затиску свердлильного патрона{csvnc}1.5 - 13 mm{csvnc}
                        Вага (з акумуляторним блоком){csvnc}2.6 kg{csvnc}Вібрація{csvnc}
                                    
                        Свердління металу{csvnc}3.8 m/s²{csvnc}
                        Погрішність виміру К{csvnc}1.5 m/s²{csvnc}Звукова емісія{csvnc}
                                    
                        Рівень звукового тиску{csvnc}71 dB(A){csvnc}
                        Рівень звукової потужності (LwA){csvnc}82 dB(A){csvnc}
                        Погрішність виміру К{csvnc}3 dB(A)

[Rassol2]

1 минуту назад, cmamonov сказал:

Добрый день. Подскажите пожалуйста, как регулярным выражением удалить в конце значения атрибута эти обозначения Ah, V, Nm, m/s², dB(A), mm, /min и тд. Это атрибуты однонго товара, в других товарах есть другие обозначения...

            
                        {csvnc}Вид акумуляторного блока{csvnc}LiHD {csvnc}
                        Напруга акумуляторного блока{csvnc}18 V{csvnc}
                        Ємність акумулятора{csvnc}2 x 5.5 Ah{csvnc}
                        Макс. крутний момент (м'який){csvnc}60 Nm{csvnc}
                        Імпульсний момент{csvnc}65 Nm{csvnc}
                        Макс. крутний момент (жорсткий){csvnc}120 Nm{csvnc}
                        Регулювання крутного моменту{csvnc}1 - 20 Nm{csvnc}
                        Діаметр свердління, сталь{csvnc}13 mm{csvnc}
                        Ø свердління, м'яка деревина{csvnc}65 mm{csvnc}
                        Кількість обертів холостого ходу{csvnc}0 - 500 / 0 - 2050 / 0 - 3800 /min{csvnc}
                        Діапазон затиску свердлильного патрона{csvnc}1.5 - 13 mm{csvnc}
                        Вага (з акумуляторним блоком){csvnc}2.6 kg{csvnc}Вібрація{csvnc}
                                    
                        Свердління металу{csvnc}3.8 m/s²{csvnc}
                        Погрішність виміру К{csvnc}1.5 m/s²{csvnc}Звукова емісія{csvnc}
                                    
                        Рівень звукового тиску{csvnc}71 dB(A){csvnc}
                        Рівень звукової потужності (LwA){csvnc}82 dB(A){csvnc}
                        Погрішність виміру К{csvnc}3 dB(A)

все зависит от того какой тип границ парсинга.
Вот на вашем примере не выйдет показать 100% рабочий вариант.

[cmamonov]

Спойлер

 

Сделал так

 

ОБЫЧНАЯ ГРАНИЦА ПАРСИНГА

 

 

ПРАВИЛО ПОИСК ЗАМЕНЫ

 

<div class="attributesGroup">{skip}</div>|
<div class="attributesRow">|
<div class="attrTitle|{csvnc}
<div class="attrValue|{csvnc}

_{skip}">|
<{skip}>|

 

 

ИСХОДНЫЙ ТЕКСТ

 

<div class="attributesGroup">Характеристики</div>
            <div class="attributes">
                                    <div class="attributesRow">
                        <div class="attrTitle_1">Вид акумуляторного блока</div>
                                                    <div class="attrValue_1_1">LiHD </div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_2">Напруга акумуляторного блока</div>
                                                    <div class="attrValue_2_1">18 V</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_3">Ємність акумулятора</div>
                                                    <div class="attrValue_3_1">2 x 5.5 Ah</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_4">Макс. крутний момент (м'який)</div>
                                                    <div class="attrValue_4_1">60 Nm</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_5">Імпульсний момент</div>
                                                    <div class="attrValue_5_1">65 Nm</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_6">Макс. крутний момент (жорсткий)</div>
                                                    <div class="attrValue_6_1">120 Nm</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_7">Регулювання крутного моменту</div>
                                                    <div class="attrValue_7_1">1 - 20 Nm</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_8">Діаметр свердління, сталь</div>
                                                    <div class="attrValue_8_1">13 mm</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_9">Ø свердління, м'яка деревина</div>
                                                    <div class="attrValue_9_1">65 mm</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_10">Кількість обертів холостого ходу</div>
                                                    <div class="attrValue_10_1">0 - 500 / 0 - 1850 /min</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_11">Діапазон затиску свердлильного патрона</div>
                                                    <div class="attrValue_11_1">1.5 - 13 mm</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_12">Вага (з акумуляторним блоком)</div>
                                                    <div class="attrValue_12_1">2.5 kg</div>
                                            </div>
                            </div>
                                                <div class="attributesGroup">Вібрація</div>
            <div class="attributes">
                                    <div class="attributesRow">
                        <div class="attrTitle_1">Свердління металу</div>
                                                    <div class="attrValue_1_1">3.2 m/s²</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_2">Загвинчування без удару</div>
                                                    <div class="attrValue_2_1">1.5 m/s²</div>
                                            </div>
                            </div>
                                                <div class="attributesGroup">Звукова емісія</div>
            <div class="attributes">
                                    <div class="attributesRow">
                        <div class="attrTitle_1">Рівень звукового тиску</div>
                                                    <div class="attrValue_1_1">78 dB(A)</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_2">Рівень звукової потужності (LwA)</div>
                                                    <div class="attrValue_2_1">89 dB(A)</div>
                                            </div>
                                    <div class="attributesRow">
                        <div class="attrTitle_3">Погрішність виміру К</div>
                                                    <div class="attrValue_3_1">3 dB(A)</div>
                                            </div>
                            </div>
            </div>
                                                

 

ТЕКСТ ПОСЛЕ ОБРАБОТКИ

 

 

                
            
                                    
                        {csvnc}Вид акумуляторного блока
                                                    {csvnc}LiHD 
                                            
                                    
                        {csvnc}Напруга акумуляторного блока
                                                    {csvnc}18 V
                                            
                                    
                        {csvnc}Ємність акумулятора
                                                    {csvnc}2 x 5.5 Ah
                                            
                                    
                        {csvnc}Макс. крутний момент (м'який)
                                                    {csvnc}60 Nm
                                            
                                    
                        {csvnc}Імпульсний момент
                                                    {csvnc}65 Nm
                                            
                                    
                        {csvnc}Макс. крутний момент (жорсткий)
                                                    {csvnc}120 Nm
                                            
                                    
                        {csvnc}Регулювання крутного моменту
                                                    {csvnc}1 - 20 Nm
                                            
                                    
                        {csvnc}Діаметр свердління, сталь
                                                    {csvnc}13 mm
                                            
                                    
                        {csvnc}Ø свердління, м'яка деревина
                                                    {csvnc}65 mm
                                            
                                    
                        {csvnc}Кількість обертів холостого ходу
                                                    {csvnc}0 - 500 / 0 - 1850 /min
                                            
                                    
                        {csvnc}Діапазон затиску свердлильного патрона
                                                    {csvnc}1.5 - 13 mm
                                            
                                    
                        {csvnc}Вага (з акумуляторним блоком)
                                                    {csvnc}2.5 kg
                                            
                            
                                                
            
                                    
                        {csvnc}Свердління металу
                                                    {csvnc}3.2 m/s²
                                            
                                    
                        {csvnc}Загвинчування без удару
                                                    {csvnc}1.5 m/s²
                                            
                            
                                                
            
                                    
                        {csvnc}Рівень звукового тиску
                                                    {csvnc}78 dB(A)
                                            
                                    
                        {csvnc}Рівень звукової потужності (LwA)
                                                    {csvnc}89 dB(A)
                                            
                                    
                        {csvnc}Погрішність виміру К
                                                    {csvnc}3 dB(A)
                                            
                            
            
                                                

 

 

Змінено 15 березня 2021 користувачем cmamonov

[Rassol2]

ок посмотрю отпишусь.
@cmamonov пожалуйста прячьте под спойлер большие тексты.

[cmamonov]

5 минут назад, Rassol2 сказал:

ок посмотрю отпишусь.
@cmamonov пожалуйста прячьте под спойлер большие тексты.

Хорошо. Спасибо.

[Axelenz]

38 минут назад, Rassol2 сказал:

Ну допустим мы можем сделать сопоставление и заполнить название второго атрибута.
Но как это сделать с учетом того что и значении должно попасть во второй язык и при этом не затирать существующие в первом.

Так мы же можем использовать language_id ?

Спойлер

 

[Rassol2]

@cmamonov В вашем случаи проше сделать через повторяющиеся границы парсинга,
И указать правило вырезать последнее слово в границе, через заворачиваться с одинарной границей.

Для саморазвития я попробую, но вам советую настроить через повторяющиеся