[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

13.04.2023 в 05:41, Toral сказал:

Приїхали?  Я так роумію авторизація пройшла успішно, якщо це все відобразилос

Скорее нет чем да.
Вышло авторизоватся или нет проверяется по коду страницы, а судя по скриншоту у вас там код js и не страницы.
Так что скорее всего нет, вы не авторизовались.

[Toral]

В 13.04.2023 в 16:25, Rassol2 сказав:

Скорее нет чем да.
Вышло авторизоватся или нет проверяется по коду страницы, а судя по скриншоту у вас там код js и не страницы.
Так что скорее всего нет, вы не авторизовались.

Зрозуміло, там просто підгрузився попередній перегляд сторінки і відобразились товари. 

Ще підкажіть будь ласка, це через не вірний шаблон?

Прихований текст

 

Змінено 13 квітня 2023 користувачем Toral

[Rassol2]

@Toral Пожалуйста прячьте скриншоты под спойлер, это повышает читаемость.

 

13.04.2023 в 08:39, Toral сказал:

Ще підкажіть будь ласка, це через не вірний шаблон?

почему из за неверного шаблона ?
У вас в шаблоне написано добавлять ссылки в которых есть.
page_
В ссылке есть это
per-page_48

Получается наоборот, это происходит так как настройки шаблонов соответствуют ссылкам.

[Rassol2]

Что было бы более интересно ?
1) Добавить в модуль функцию загрузки прайс листов на базе CSV ?
2) Написать дополнение для парсера, которое позволит парсить сайты с JS но это дополнение будет запускается на вашем персональном компьютере.

В первом случаи преимущества.
Скорость реализации. Я тут не говорю про недели. И наверное даже не пару месяцев но все же. 

Второй вариант.
Десктопный парсер. Он будет работать в тандеме с SimplePars но так же может быть использован как полноценный десктопный парсер.

Это позволит парсить сайты на JS так как для своей работы будет использовать браузер. В таком случаи можно будет организовать больше обходов блокировки, так как десктопный парсер способен пройти капчу получить страницу и отдать ее SimplePars то есть уже не модуль обращается к донору а ваш комп, и после получения кода отдает код модулю на обработку.


Что было бы интереснее увидеть ?

[Sadvox]

13.04.2023 в 22:19, Rassol2 сказал:

1) Добавить в модуль функцию загрузки прайс листов на базе CSV ?

+

[partshez]

13.04.2023 в 22:19, Rassol2 сказал:

Что было бы более интересно ?
2) Написать дополнение для парсера, которое позволит парсить сайты с JS но это дополнение будет запускается на вашем персональном компьютере

Мне было бы интереснее это. Прайсы обрабатывать могут много программ

[dvk18]

2

[SSHEVA]

13.04.2023 в 22:19, Rassol2 сказал:

Что было бы более интересно ?
1) Добавить в модуль функцию загрузки прайс листов на базе CSV ?
2) Написать дополнение для парсера, которое позволит парсить сайты с JS но это дополнение будет запускается на вашем персональном компьютере.

В первом случаи преимущества.
Скорость реализации. Я тут не говорю про недели. И наверное даже не пару месяцев но все же. 

Второй вариант.
Десктопный парсер. Он будет работать в тандеме с SimplePars но так же может быть использован как полноценный десктопный парсер.

Это позволит парсить сайты на JS так как для своей работы будет использовать браузер. В таком случаи можно будет организовать больше обходов блокировки, так как десктопный парсер способен пройти капчу получить страницу и отдать ее SimplePars то есть уже не модуль обращается к донору а ваш комп, и после получения кода отдает код модулю на обработку.


Что было бы интереснее увидеть ?

Меня оба варианта интересуют, честно говоря)

[Kiyoshi]

13.04.2023 в 14:19, Rassol2 сказал:

Что было бы более интересно ?
1) Добавить в модуль функцию загрузки прайс листов на базе CSV ?
2) Написать дополнение для парсера, которое позволит парсить сайты с JS но это дополнение будет запускается на вашем персональном компьютере.

В первом случаи преимущества.
Скорость реализации. Я тут не говорю про недели. И наверное даже не пару месяцев но все же. 

Второй вариант.
Десктопный парсер. Он будет работать в тандеме с SimplePars но так же может быть использован как полноценный десктопный парсер.

Это позволит парсить сайты на JS так как для своей работы будет использовать браузер. В таком случаи можно будет организовать больше обходов блокировки, так как десктопный парсер способен пройти капчу получить страницу и отдать ее SimplePars то есть уже не модуль обращается к донору а ваш комп, и после получения кода отдает код модулю на обработку.


Что было бы интереснее увидеть ?

Я за то чтобы реализовать поддержку загрузки прайс листов будет приятным бонусом когда есть все в одном модуле при этом еще и поможет сэкономить избавив от покупки дополнительных.

[Toral]

Шукаю людину яка знайома з цим модулем та може написати скрипт

Який буде перед оновленням данних, отримувати значення які вже є в полях ISBN та MPN, порівнювати їх з данними які отримав парсер та якщо вони відповідають умові оновлювати ці поля, або залишати попередні значення.

Також схожу маніпуляцію потрібно зробити з ціною товару.

[Rassol2]

19.04.2023 в 01:44, Toral сказал:

Шукаю людину яка знайома з цим модулем та може написати скрипт

Який буде перед оновленням данних, отримувати значення які вже є в полях ISBN та MPN, порівнювати їх з данними які отримав парсер та якщо вони відповідають умові оновлювати ці поля, або залишати попередні значення.

Також схожу маніпуляцію потрібно зробити з ціною товару.

Распишите подробнее что должен делать скрипт с данными полями
ISBN та MPN
и ценой.

[Toral]

В 19.04.2023 в 13:12, Rassol2 сказав:

Распишите подробнее что должен делать скрипт с данными полями
ISBN та MPN
и ценой.

В полі "ISBN"  кількість товару у постачальника

в полі "Розташування" назва постачальника з більшою кількістю

в полі "MNP" назва постачальника з меншою ціною

Ціна,Акційна ціна - стандартні поля

Ідея приблизно так :

 

Якщо назва постачальника в "Розташування" є однаковою з отриманою назвою в границі парсингу, просто оновлюємо кількість та ціну у відодповідних полях.

Якщо ні,  порівнюємо кількість в полі "ISBN" з границею парсингу. If нове значення  > записуємо його та змінюємо назву постачальника в "Розташування", else залишаємо те що було.

 

З Ціною: 
Якщо "акційна ціна <  акційну ціну в границі парсингу" або "ціна < ціну в границі парсингу" тоді оновлюємо на нові значення і записуємо нову назву постач в MNP.

 

 

 

Тільки не знаю як буде це АБо працювати, коли акційрне поле буде пусти і границя пуста

Прихований текст

 

 

 

 

Наприклад

ISBN - 400

Розташування - Supplier1

Ціна - 97
Акційна ціна --

MNP - Supplier2

 

[Rassol2]

@Toral
А какое поведение вы хотите если акционная цена отсутствует ?

[Toral]

В 19.04.2023 в 14:36, Rassol2 сказав:

@Toral
А какое поведение вы хотите если акционная цена отсутствует ?

Щоб оброблялась тільки стандартна ціна. Та в принципі, можна не трогати взагалі акційну ціну. Прикинули, то вона в 90% випадків не потребує цих маніпуляцій.

[partshez]

Всем привет. 

В ценах опций есть префиксы плюс и минус в одном товаре. Как можно такое реализовать?

Змінено 20 квітня 2023 користувачем partshez

[Rassol2]

20.04.2023 в 13:22, partshez сказал:

Всем привет. 

В ценах опций есть префиксы плюс и минус в одном товаре. Как можно такое реализовать?

Это относится не к товарам а к опциям а в товаре может быть много опций с разными определениями как + так и -
Все стандартно, выбираете опцию выбираете что делать + или -

[partshez]

20.04.2023 в 21:25, Rassol2 сказал:

Это относится не к товарам а к опциям а в товаре может быть много опций с разными определениями как + так и -
Все стандартно, выбираете опцию выбираете что делать + или -

Это одна опция Select Bed Size. В значениях этой опции разные префиксы 

http://www.avetexfurniture.com/modern-bed-solid-wood-acacia-graphite-finish-ms-078.html

[Rassol2]

20.04.2023 в 13:35, partshez сказал:

Это одна опция Select Bed Size. В значениях этой опции разные префиксы 

http://www.avetexfurniture.com/modern-bed-solid-wood-acacia-graphite-finish-ms-078.html

Сейчас точно не скажу но попробуйте выбрать + и что бы значение было -150
Вроде там нет очистки от знака отрицания, и это может сработать.

[partshez]

20.04.2023 в 21:53, Rassol2 сказал:

Сейчас точно не скажу но попробуйте выбрать + и что бы значение было -150
Вроде там нет очистки от знака отрицания, и это может сработать.

Понял. Попробую. Спасибо!

 

[mirek]

Здравствуйте

А как указать шаблон ссылок на товар такого вида  

/p{digit}

То есть вместо digit я имею ввиду, что там могут идти любые цифры. Но не буквы. А вот такого оператора нет. Пробовал задать 

/p{reg[#[0-9]#]}

Но так не получается

[aSpeeDAyad]

13.11.2021 в 13:59, yurok79 сказал:

Срочный вопрос. Перестал работать обработчик xml.

На товары вроде делит, но когда переходу по ссылкам из списка товаров получаю сообщение:

This page contains the following errors:

error on line 1 at column 1: Document is empty

Below is a rendering of the page up to the first error.

Парсер пишет 404 ошибку

Здравствуйте, у меня тоже такая ошибка выбивает, уже решили проблему? Как исправить?

[Rassol2]

21.04.2023 в 22:12, mirek сказал:

Здравствуйте

А как указать шаблон ссылок на товар такого вида  

/p{digit}

То есть вместо digit я имею ввиду, что там могут идти любые цифры. Но не буквы. А вот такого оператора нет. Пробовал задать 

/p{reg[#[0-9]#]}

Но так не получается

Ругулярки не могут находится посреди текста.
Оно записывается с начало строки и включает в себя все нужные вам элементы.
То есть это должно выглядеть примерно так.
{reg[#/p[0-9]*#]}

[Rassol2]

22.04.2023 в 00:06, aSpeeDAyad сказал:

Здравствуйте, у меня тоже такая ошибка выбивает, уже решили проблему? Как исправить?

Покажите скриншот о чем идет речь.
А то не совсем понятно где вы ловите эту ошибку.

[dmitriy2506]

всем привет,  проблема такая один из доноров перешел из обычных опций опен карт на HPM https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x200-sm-555-7

опции теперь лежат в виде ссылок 

<script>
var hpm_products = {
2097: {href:'https://if-matras.com/ua/matrac-highfoam-obeliks-lupen',real:'https://if-matras.com/ua/matrac-highfoam-obeliks-lupen'},
3184: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-80x200-sm-555-1',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-80x200-sm-555-1'},
3185: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x190-sm-555-2',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x190-sm-555-2'},
3186: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x200-sm-555-3',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x200-sm-555-3'},
3187: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x190-sm-555-4',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x190-sm-555-4'},
3188: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x200-sm-555-5',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x200-sm-555-5'},
3189: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x190-sm-555-6',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x190-sm-555-6'},
3190: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x200-sm-555-7',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x200-sm-555-7'},
3191: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x190-sm-555-8',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x190-sm-555-8'},
3192: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x200-sm-555-9',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x200-sm-555-9'},
3193: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x190-sm-555-10',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x190-sm-555-10'},
3194: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x200-sm-555-11',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x200-sm-555-11'},
3195: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-nestandartnyy-razmer-555-12',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-nestandartnyy-razmer-555-12'},
}

можно ли с помощью модуля собрать опции одного товара по ссылкам? может с помощью скриптов как то

[Rassol2]

22.04.2023 в 05:35, dmitriy2506 сказал:

всем привет,  проблема такая один из доноров перешел из обычных опций опен карт на HPM https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x200-sm-555-7

опции теперь лежат в виде ссылок 

<script>
var hpm_products = {
2097: {href:'https://if-matras.com/ua/matrac-highfoam-obeliks-lupen',real:'https://if-matras.com/ua/matrac-highfoam-obeliks-lupen'},
3184: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-80x200-sm-555-1',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-80x200-sm-555-1'},
3185: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x190-sm-555-2',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x190-sm-555-2'},
3186: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x200-sm-555-3',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-90x200-sm-555-3'},
3187: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x190-sm-555-4',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x190-sm-555-4'},
3188: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x200-sm-555-5',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-120x200-sm-555-5'},
3189: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x190-sm-555-6',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x190-sm-555-6'},
3190: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x200-sm-555-7',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-140x200-sm-555-7'},
3191: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x190-sm-555-8',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x190-sm-555-8'},
3192: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x200-sm-555-9',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-160x200-sm-555-9'},
3193: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x190-sm-555-10',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x190-sm-555-10'},
3194: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x200-sm-555-11',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-razmer-180x200-sm-555-11'},
3195: {href:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-nestandartnyy-razmer-555-12',real:'https://if-matras.com/ua/matras-highfoam-obeliks-lupen-nestandartnyy-razmer-555-12'},
}

можно ли с помощью модуля собрать опции одного товара по ссылкам? может с помощью скриптов как то

Здравствуйте.

К сожалению на данный момент нет.