[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Обновление 2.10-1

Исправления ошибок связанных с использованием прокси в модуле.
Теперь уже вроде все значимые проблемы устранены.

[CtFelix]

В 28.12.2019 в 17:08, partshez сказал:

Я сделал так. С одного сайта спарсил товар с артикулами. Возникла необходимость добавить информацию со второго сайта в эти же товары. Артикулы со второго сайта (или с прайса) завел вручную в КОД ТОВАРА в карточках. 

В итоге в Парсинге в ИМ выбираю Обновить. С первого сайта Идентификатор - артикул, со второго - код товара. 

Ок, спасибо за помощь, так и думал, что придётся ручками дополнять товары, как минимум артикулы, но надеялся, что есть другой вариант.

[CtFelix]

Таков вопрос, на сайте источнике в характеристиках есть такие разделы как на скрине, источник

Можно ли как то в парсере сделать настройки, чтобы в моих характеристиках тоже создавались такие разделы, чтобы получить страницу характеристик 1 в 1 как на источнике?

 

Спойлер

 

Змінено 29 грудня 2019 користувачем CtFelix

[CtFelix]

Можете ли вы настроить парсер товаров для примера с моего источника, по 1 категории хотя бы и по 1 виду товаров, чтобы я на основе мог уже другие источники настроить.

Может за отдельную оплату.

[Rassol2]

11 минут назад, CtFelix сказал:

Таков вопрос, на сайте источнике в характеристиках есть такие разделы как на скрине, источник

Можно ли как то в парсере сделать настройки, чтобы в моих характеристиках тоже создавались такие разделы, чтобы получить страницу характеристик 1 в 1 как на источнике?

 

  Показать контент

 

вы можете спарсить все характеристики. А после выставить нужную группу для любой характеристике. Это делается уже в разделе атрибутов в движке опенкарт.
 

Спойлер

либо в момент парсинга выбрать группу для новых атрибутов по умолчанию.
 

Спойлер

А вот что бы в момент парсинга еше учитывать группы нет, такого нет. И наверное даже не будет это сильно усложняет процесс а смысла как такового не несут.

[Rassol2]

3 минуты назад, CtFelix сказал:

Можете ли вы настроить парсер товаров для примера с моего источника, по 1 категории хотя бы и по 1 виду товаров, чтобы я на основе мог уже другие источники настроить.

Может за отдельную оплату.

Я за то что вы люди сами парсили, для этого модуль и создавал.
Все же попробуйте, нужно просто вникнуть, везде логика + - одинаковая.

Если будет сильно сложно напишите. Просто со временем не особо сейчас.

[CtFelix]

 

Несколько вопросов по парсеру;

1. Настройки парсинга "Текст начала парсинга" есть такое значение "Сжатие видео</div>ХХХ<div class="prop-value">", где ХХХ это неизвестной длинны пробел, что вставить вместо иксов, чтобы парсер мог найти это значение?

2. Настройки парсинга "Текст окончания парсинга" можно ли там сделать, чтобы запоминалось последнее значение? Либо сделать возможность создавать горячие клавиши или кнопки? При настройки парсинга по 30-50 параметрам, приходится постоянно одно и тоже вводить, хотя можно сделать кнопки популярные кнопки как в примере, в иделале, чтобы каждый мог настроить их сам себе, чтобы по клику добавлялось значение и была возможность указать значение по умолчанию, если добавляем 30-50 значений. 

Спойлер

3. Как парсить изображения если в коде я вижу только маленькую превьюшку изображения, а чтобы увидеть полную картинку, нужно кликнуть на неё?

4. Поиск и замена. Почему бы не добавить сюда горячие кнопки типа {skip} и тд?

Спойлер

5. Для того, чтобы сгенерировать цифровой артикул, есть предложение умножить оригинальный на какое-то значение кажем на 7, но тогда артикул получится слишком длинный, 86912357594 как укоротить его до 4-6 знаков? 

6. Парсинг CSV почему при добавлении элементов не добавлять сразу цифру таблице? Мне нужно добавить 30 параметров и сижу проставляю эти цифры, это не норм, если мне нужно будет сменять номер ячейки, мне в любом случае нужно будет к ней обращаться, поэтому не вижу смысла делать их пустыми.

Спойлер

 

Змінено 30 грудня 2019 користувачем CtFelix

[CtFelix]

7. При добавлении/обновлении товара есть возможность сверить товары по артикулу или коду товара, но этих значений мало, нужно как минимум 3, ато и 4 варианта.

У меня есть уникальный артикул по сайту, он только у меня на сайте, есть артикул с сайта источника и нужен ещё один или 2 артикула с прайсов поставщиков, прочему бы не добавить в идентификатор товаров по уникальности скажем UPC = EAN = JAN = в них можно было бы добавить другие ID от поставщиков и при загрузке прайса от одного из поставщиков делать проверку на уникальность по этим значениям не выводя их на сайте. Либо сделать возможность создавать пользовательские поля.

[partshez]

10 минут назад, CtFelix сказал:

7. При добавлении/обновлении товара есть возможность сверить товары по артикулу или коду товара, но этих значений мало, нужно как минимум 3, ато и 4 варианта.

У меня есть уникальный артикул по сайту, он только у меня на сайте, есть артикул с сайта источника и нужен ещё один или 2 артикула с прайсов поставщиков, прочему бы не добавить в идентификатор товаров по уникальности скажем UPC = EAN = JAN = в них можно было бы добавить другие ID от поставщиков и при загрузке прайса от одного из поставщиков делать проверку на уникальность по этим значениям не выводя их на сайте. Либо сделать возможность создавать пользовательские поля.

Горячие кнопки (очередная хотелка) - поддерживаю! п.6 и п.7 - тоже было бы неплохо.

[CtFelix]

Ещё в дополнении к 7 пункту, у меня есть 2 прайса от разных поставщиков, у обоих по разному написана модель товара.

У одного поставщика GXP-1610 у второго GXP1610, и такая же ерунда и у источников, поэтому 7 пункт очень актуален.

[Rassol2]

2 часа назад, CtFelix сказал:

1. Настройки парсинга "Текст начала парсинга" есть такое значение "Сжатие видео</div>ХХХ<div class="prop-value">", где ХХХ это неизвестной длинны пробел, что вставить вместо иксов, чтобы парсер мог найти это значение?

По куску текста не судят. Но вообше какая разница сколько пробелов ? Выбираете любой кусок что можете выделить. Так сказать грубо. Затем тонко дошлифовываете через поиск замену
https://simplepars.top/index.php?page=note&note_id=9
 

2 часа назад, CtFelix сказал:

2. Настройки парсинга "Текст окончания парсинга" можно ли там сделать, чтобы запоминалось последнее значение? Либо сделать возможность создавать горячие клавиши или кнопки? При настройки парсинга по 30-50 параметрам, приходится постоянно одно и тоже вводить, хотя можно сделать кнопки популярные кнопки как в примере, в иделале, чтобы каждый мог настроить их сам себе, чтобы по клику добавлялось значение и была возможность указать значение по умолчанию, если добавляем 30-50 значений. 

Уже реализовано разработчиками браузера )
После нажатия браузер предлагает значение которое чаше всего вы вставляли в это поле. Не гениально ли ? Причем реализация этой фунуции уже есть, она заполняется сама и каждому пользователю составляется свой набор параметров.

 

2 часа назад, CtFelix сказал:

3. Как парсить изображения если в коде я вижу только маленькую превьюшку изображения, а чтобы увидеть полную картинку, нужно кликнуть на неё?

95% случаем в коде есть изображение большого фото.
еше в 2% случаев можно просто поменять в ссылке на фото поменять одно значение и получите большое фото.
Опять же нужно видеть донора.
 

2 часа назад, CtFelix сказал:

4. Поиск и замена. Почему бы не добавить сюда горячие кнопки типа {skip} и тд?

По той причине что я пытаюсь добавить много поточность в модуль, внедрить крон. И пока я буду отвлекается на такие мелочи я оттягиваю действительно важные фичи для парсинга. Все будет просто на все нужно время. Модуль сильно молодой еше. Если бы я мог внедрять все по хлопку у вам было бы гораздо больше.

 

2 часа назад, CtFelix сказал:

5. Для того, чтобы сгенерировать цифровой артикул, есть предложение умножить оригинальный на какое-то значение кажем на 7, но тогда артикул получится слишком длинный, 86912357594 как укоротить его до 4-6 знаков? 

Можно не у умножать на на 7 можно умножить на 0.1 или 0.5
не обязательно умножать так что бы число выросло в сотни  раз.

 

2 часа назад, CtFelix сказал:

6. Парсинг CSV почему при добавлении элементов не добавлять сразу цифру таблице? Мне нужно добавить 30 параметров и сижу проставляю эти цифры, это не норм, если мне нужно будет сменять номер ячейки, мне в любом случае нужно будет к ней обращаться, поэтому не вижу смысла делать их пустыми.

Это не цифры. Это заголовки прайс листа. Модуль не проставляет номера колонок это делает сам эксель. А эти поля прдназначены что бы вы могли подписать колонку.
Описани
Главное фото
Цена
итд.
Номера колонок делает сам эксель не путайте это.

 

2 часа назад, CtFelix сказал:

7. При добавлении/обновлении товара есть возможность сверить товары по артикулу или коду товара, но этих значений мало, нужно как минимум 3, ато и 4 варианта.

У меня есть уникальный артикул по сайту, он только у меня на сайте, есть артикул с сайта источника и нужен ещё один или 2 артикула с прайсов поставщиков, прочему бы не добавить в идентификатор товаров по уникальности скажем UPC = EAN = JAN = в них можно было бы добавить другие ID от поставщиков и при загрузке прайса от одного из поставщиков делать проверку на уникальность по этим значениям не выводя их на сайте. Либо сделать возможность создавать пользовательские поля.

 

30 минут назад, CtFelix сказал:

Ещё в дополнении к 7 пункту, у меня есть 2 прайса от разных поставщиков, у обоих по разному написана модель товара.

У одного поставщика GXP-1610 у второго GXP1610, и такая же ерунда и у источников, поэтому 7 пункт очень актуален.

Да это можно внедрить. Лишним не будет.

[Rassol2]

Внимание.

Нужно наблюдения активных пользователей.
Ситуация с логами.

Суть такая, когда лог фал доходит до 35-40мб веса это примерно 400 - 500 тысяч строк, модуль подвисяет в момент парсинга. После удаления лога продолжает.
У меня такая проблема в упор не воспроизводится, возможно связано с качеством выделенными ресурсами на хостинге. Не могу понять
Обратите внимание на этот момент если при увеличении лог файла понижается скорость работы модуля или останавливается, сообщите буду менять логику логирования в модуле. Или делать ее мение зависимой от дисковой под системы.

Больше наблюдений точнее будут прогнозы и более качественная реализация модуля
 

[CtFelix]

2 часа назад, Rassol2 сказал:

По куску текста не судят. Но вообше какая разница сколько пробелов ? Выбираете любой кусок что можете выделить. Так сказать грубо. Затем тонко дошлифовываете через поиск замену
https://simplepars.top/index.php?page=note&note_id=9

В том то и проблема, что не работает, скинул донора в ЛС, у меня пишет lox, надеюсь это не про меня  скинул донора в ЛС

 

2 часа назад, Rassol2 сказал:

Уже реализовано разработчиками браузера )

Странно, но у меня не работает, попробую другой браузер

 

2 часа назад, Rassol2 сказал:

95% случаем в коде есть изображение большого фото.

Тоже на доноре в ЛС посмотрите пожалуйста.

 

2 часа назад, Rassol2 сказал:

Можно не у умножать на на 7 можно умножить на 0.1 или 0.5

И всё же есть решение?

 

2 часа назад, Rassol2 сказал:

Это не цифры. Это заголовки прайс листа. Модуль не проставляет номера колонок это делает сам эксель. А эти поля прдназначены что бы вы могли подписать

И всё же было бы неплохо автоматом подставлять какое либо значение, возможно даже название границ парсинга, чтобы эту рутину тоже автоматизировать.

[Rassol2]

17 минут назад, CtFelix сказал:

В том то и проблема, что не работает, скинул донора в ЛС, у меня пишет lox, надеюсь это не про меня  скинул донора в ЛС

нет не про вас. Обновите до последней версии.
 

18 минут назад, CtFelix сказал:

И всё же есть решение?

Есть решение  как я уже писал чрез умножение. Или просто хеш функция для формирования артикулов.
Поймите правильно я же не могу сделать формирования собственных артикулов из любых кусков кода да так что бы кому то цифрами, кому то текстом. А дальше кто то напишите а я хочу что бы мой цифирный артикул начинался с двух нулей как в 1С
Если у вас артикул у донора и он цифирный умножит его, или приплюсуйте к ниму какой то значение. Или разделите. И у вас останется артикул не похожий на донора и он будет цифирный писать специальную функцию которая будет хеширование в цифирный варианта я не будут это лишний код который нужно поддерживать и + цифирный артикул в маленьком количестве приведет к Коллизии когда два разные значения после хеширования приводят к одному.
 

25 минут назад, CtFelix сказал:

И всё же было бы неплохо автоматом подставлять какое либо значение, возможно даже название границ парсинга, чтобы эту рутину тоже автоматизировать.

когда вы открываете эксель вам же автоматом не проставляет значения колонок. Вы это делаете вручную.
Это вроде логично.
 

25 минут назад, CtFelix сказал:

Тоже на доноре в ЛС посмотрите пожалуйста.

Сейчас посмотрю.

[CtFelix]

12 минут назад, Rassol2 сказал:

когда вы открываете эксель вам же автоматом не проставляет значения колонок. Вы это делаете вручную.
Это вроде логично.

Блин, нежно было сохранить параметры полей и тогда они собираются, забыл это сделать, но всё же если бы автоматом подставлялось значение границы парсинга было бы удобно.

[Rassol2]

1 минуту назад, CtFelix сказал:

Блин, нежно было сохранить параметры полей и тогда они собираются, забыл это сделать, но всё же если бы автоматом подставлялось значение границы парсинга было бы удобно.

Если вам все равно что там будет можете не заполнять эти поля. Они не обязательны при формировании csv
А по поводу атрибутов посмотрите в ЛС я вам видео скинул. Не стоит делать отдельные границы парсинга на каждый атрибут. Если можно спарсить их все сразу.

[partshez]

8 часов назад, Rassol2 сказал:

Внимание.

Нужно наблюдения активных пользователей.
Ситуация с логами.

Суть такая, когда лог фал доходит до 35-40мб веса это примерно 400 - 500 тысяч строк, модуль подвисяет в момент парсинга. После удаления лога продолжает.
У меня такая проблема в упор не воспроизводится, возможно связано с качеством выделенными ресурсами на хостинге. Не могу понять
Обратите внимание на этот момент если при увеличении лог файла понижается скорость работы модуля или останавливается, сообщите буду менять логику логирования в модуле. Или делать ее мение зависимой от дисковой под системы.

Больше наблюдений точнее будут прогнозы и более качественная реализация модуля
 

Спарсил только что 19 тыс ссылок через СайтМэп, кстати. Запущено одновременно 4 страницы модуля.  Остановок  не заметил пока. Тормозит немного, но работает

Добавлю еще немного. Работаю через СайтМэп. До чего же мне нравится! Ничего лишнего, только то, что нужно парсит. Советую...

Змінено 30 грудня 2019 користувачем partshez

[Rassol2]

15 минут назад, partshez сказал:

Спарсил только что 19 тыс ссылок через СайтМэп, кстати. Запущено одновременно 4 страницы модуля.  Остановок  не заметил пока. Тормозит немного, но работает

Добавлю еще немного. Работаю через СайтМэп. До чего же мне нравится! Ничего лишнего, только то, что нужно парсит. Советую...

это хорошо что нету.
Но вы должны понимать что сайт мап не всегда настолько полный как сам сайт. Все зависит от владельца сайта, и насколько он занимается своим сайтом.
Так же парсинг сайт мап не всегда подходит для моментального получения новых позиций. Это связано с тем что обновление карты сайта иногда ресурсоемкая задача и производится один раз в какой то период. Хорошо если раз в день, бывает и реже. В таком случаи для моментального получения ссылок на новые товары это не самый лучший выбор.
Еше один случай это когда в ссылке на товар нельзя определить категорию и вам нужны только товары одной категории, в таком случаи сайт мап тоже не самый лучший выбор.

В остальном да это удобно

[hippvik]

Ребята! С наступающим новым 2020 годом!  ????? УРЯЯЯ!!!!

[Rassol2]

26 минут назад, hippvik сказал:

Ребята! С наступающим новым 2020 годом!  ????? УРЯЯЯ!!!!

И вас,  всех с наступающим. !!!

[Rassol2]

Отдельное поздравление для пользователя @valadk 

Первый пользователь который решил присоединится к нашей дружной команде в 2020году!!! 

Спасибо вам !!!

[stas2010]

В 30.12.2019 в 17:57, Rassol2 сказал:

Не стоит делать отдельные границы парсинга на каждый атрибут. Если можно спарсить их все сразу.

не всегда так можно сделать - при парсинге с двух-трех доноров разных данных обойтись пачкой атрибутов нельзя, т.к. часто названия атрибутов на доноре отличаются от атрибутов своего магазина и тогда плодится куча похожих по названию и смыслу атрибутов, а если при этом еще у разных товаров атрибуты имеют одинаковое название, но разное назначение и при этом в магазине они разделены на группы, то просто впихнуть пачку атрибутов так, чтобы они правильно сопоставились с атрибутами своего магазина  - не получится.

В 30.12.2019 в 10:51, CtFelix сказал:

2. Настройки парсинга "Текст окончания парсинга" можно ли там сделать, чтобы запоминалось последнее значение?

ранее предлагал автору просто сделать кнопку "скопировать" или "продублировать границу" - тогда бы это упростило бы набивку одинаковых границ, в которых бы просто менял бы текст на новый. а так приходится каждый раз открывать какую-то границу и смотреть, как она настроена, чтобы сделать дубль. Да, реализация в броузерах по подсказке последних введенных значений - это хорошо, но кнопочка "скопировать границу" была бы удобнее.

 

 

[Rassol2]

2 часа назад, stas2010 сказал:

Да, реализация в броузерах по подсказке последних введенных значений - это хорошо, но кнопочка "скопировать границу" была бы удобнее.

Я не исключаю возможности появления такой фиче в будущем. Но это больше к украшательству, а этот 2020 год я хочу начать с реализации крутых фишек как много поточность и крон.
Уже собрался чемодан и маленькая тележка мелких вешей которые нужно реализовать, как на пример парсинг фото в описании с расположением на вашем сайте. Но пока это все придется отложить потому что реализация много поточности пронизывает базовые возможности модуля и параллельно разрабатывать разные плюшки не получается нужно выкатить глобальные функции отладить их и затем перейти опять к корректировке мелочей.

Как бы я не хотел выкатить сразу все идеально это не возможно поскольку реализуешь то чего еше не делали до тебя. И получается так делаешь фишку затем смотришь как она работает насколько востребована, и затем переписываешь еше раз учитывая уже опыт использования. А это время.
И сейчас время глобальных изменений.

[valadk]

On 1/1/2020 at 1:34 AM, Rassol2 said:

Отдельное поздравление для пользователя @valadk 

Первый пользователь который решил присоединится к нашей дружной команде в 2020году!!! 

Спасибо вам !!!

Спасибо большое за персональное поздравление! 
Благодарен за такой полезный продукт ) Успехов всем и С Новым Годом!

[stas2010]

В 30.12.2019 в 15:49, Rassol2 сказал:

Нужно наблюдения активных пользователей.
Ситуация с логами.

Суть такая, когда лог фал доходит до 35-40мб веса это примерно 400 - 500 тысяч строк, модуль подвисяет в момент парсинга.

надо бы для удобства проверки добавить счетчик строк и размер лога прямо на страницу в модуле.