[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

Обновление 2.10-1

Исправления ошибок связанных с использованием прокси в модуле.
Теперь уже вроде все значимые проблемы устранены.

[CtFelix]

  В 28.12.2019 в 11:08, partshez сказав:

Я сделал так. С одного сайта спарсил товар с артикулами. Возникла необходимость добавить информацию со второго сайта в эти же товары. Артикулы со второго сайта (или с прайса) завел вручную в КОД ТОВАРА в карточках. 

В итоге в Парсинге в ИМ выбираю Обновить. С первого сайта Идентификатор - артикул, со второго - код товара. 

Expand  

Ок, спасибо за помощь, так и думал, что придётся ручками дополнять товары, как минимум артикулы, но надеялся, что есть другой вариант.

[CtFelix]

Таков вопрос, на сайте источнике в характеристиках есть такие разделы как на скрине, источник

Можно ли как то в парсере сделать настройки, чтобы в моих характеристиках тоже создавались такие разделы, чтобы получить страницу характеристик 1 в 1 как на источнике?

 

  Показати вміст

 

Змінено 29 грудня 2019 користувачем CtFelix

[CtFelix]

Можете ли вы настроить парсер товаров для примера с моего источника, по 1 категории хотя бы и по 1 виду товаров, чтобы я на основе мог уже другие источники настроить.

Может за отдельную оплату.

[Rassol2]

  В 29.12.2019 в 13:50, CtFelix сказав:

Таков вопрос, на сайте источнике в характеристиках есть такие разделы как на скрине, источник

Можно ли как то в парсере сделать настройки, чтобы в моих характеристиках тоже создавались такие разделы, чтобы получить страницу характеристик 1 в 1 как на источнике?

 

  Показати вміст

 

Expand  

вы можете спарсить все характеристики. А после выставить нужную группу для любой характеристике. Это делается уже в разделе атрибутов в движке опенкарт.
 

  Показати вміст

либо в момент парсинга выбрать группу для новых атрибутов по умолчанию.
 

  Показати вміст

А вот что бы в момент парсинга еше учитывать группы нет, такого нет. И наверное даже не будет это сильно усложняет процесс а смысла как такового не несут.

[Rassol2]

  В 29.12.2019 в 14:02, CtFelix сказав:

Можете ли вы настроить парсер товаров для примера с моего источника, по 1 категории хотя бы и по 1 виду товаров, чтобы я на основе мог уже другие источники настроить.

Может за отдельную оплату.

Expand  

Я за то что вы люди сами парсили, для этого модуль и создавал.
Все же попробуйте, нужно просто вникнуть, везде логика + - одинаковая.

Если будет сильно сложно напишите. Просто со временем не особо сейчас.

[CtFelix]

 

Несколько вопросов по парсеру;

1. Настройки парсинга "Текст начала парсинга" есть такое значение "Сжатие видео</div>ХХХ<div class="prop-value">", где ХХХ это неизвестной длинны пробел, что вставить вместо иксов, чтобы парсер мог найти это значение?

2. Настройки парсинга "Текст окончания парсинга" можно ли там сделать, чтобы запоминалось последнее значение? Либо сделать возможность создавать горячие клавиши или кнопки? При настройки парсинга по 30-50 параметрам, приходится постоянно одно и тоже вводить, хотя можно сделать кнопки популярные кнопки как в примере, в иделале, чтобы каждый мог настроить их сам себе, чтобы по клику добавлялось значение и была возможность указать значение по умолчанию, если добавляем 30-50 значений. 

  Показати вміст

3. Как парсить изображения если в коде я вижу только маленькую превьюшку изображения, а чтобы увидеть полную картинку, нужно кликнуть на неё?

4. Поиск и замена. Почему бы не добавить сюда горячие кнопки типа {skip} и тд?

  Показати вміст

5. Для того, чтобы сгенерировать цифровой артикул, есть предложение умножить оригинальный на какое-то значение кажем на 7, но тогда артикул получится слишком длинный, 86912357594 как укоротить его до 4-6 знаков? 

6. Парсинг CSV почему при добавлении элементов не добавлять сразу цифру таблице? Мне нужно добавить 30 параметров и сижу проставляю эти цифры, это не норм, если мне нужно будет сменять номер ячейки, мне в любом случае нужно будет к ней обращаться, поэтому не вижу смысла делать их пустыми.

  Показати вміст

 

Змінено 30 грудня 2019 користувачем CtFelix

[CtFelix]

7. При добавлении/обновлении товара есть возможность сверить товары по артикулу или коду товара, но этих значений мало, нужно как минимум 3, ато и 4 варианта.

У меня есть уникальный артикул по сайту, он только у меня на сайте, есть артикул с сайта источника и нужен ещё один или 2 артикула с прайсов поставщиков, прочему бы не добавить в идентификатор товаров по уникальности скажем UPC = EAN = JAN = в них можно было бы добавить другие ID от поставщиков и при загрузке прайса от одного из поставщиков делать проверку на уникальность по этим значениям не выводя их на сайте. Либо сделать возможность создавать пользовательские поля.

[partshez]

  В 30.12.2019 в 08:01, CtFelix сказав:

7. При добавлении/обновлении товара есть возможность сверить товары по артикулу или коду товара, но этих значений мало, нужно как минимум 3, ато и 4 варианта.

У меня есть уникальный артикул по сайту, он только у меня на сайте, есть артикул с сайта источника и нужен ещё один или 2 артикула с прайсов поставщиков, прочему бы не добавить в идентификатор товаров по уникальности скажем UPC = EAN = JAN = в них можно было бы добавить другие ID от поставщиков и при загрузке прайса от одного из поставщиков делать проверку на уникальность по этим значениям не выводя их на сайте. Либо сделать возможность создавать пользовательские поля.

Expand  

Горячие кнопки (очередная хотелка) - поддерживаю! п.6 и п.7 - тоже было бы неплохо.

[CtFelix]

Ещё в дополнении к 7 пункту, у меня есть 2 прайса от разных поставщиков, у обоих по разному написана модель товара.

У одного поставщика GXP-1610 у второго GXP1610, и такая же ерунда и у источников, поэтому 7 пункт очень актуален.

[Rassol2]

  В 30.12.2019 в 07:51, CtFelix сказав:

1. Настройки парсинга "Текст начала парсинга" есть такое значение "Сжатие видео</div>ХХХ<div class="prop-value">", где ХХХ это неизвестной длинны пробел, что вставить вместо иксов, чтобы парсер мог найти это значение?

Expand  

По куску текста не судят. Но вообше какая разница сколько пробелов ? Выбираете любой кусок что можете выделить. Так сказать грубо. Затем тонко дошлифовываете через поиск замену
https://simplepars.top/index.php?page=note&note_id=9
 

  В 30.12.2019 в 07:51, CtFelix сказав:

2. Настройки парсинга "Текст окончания парсинга" можно ли там сделать, чтобы запоминалось последнее значение? Либо сделать возможность создавать горячие клавиши или кнопки? При настройки парсинга по 30-50 параметрам, приходится постоянно одно и тоже вводить, хотя можно сделать кнопки популярные кнопки как в примере, в иделале, чтобы каждый мог настроить их сам себе, чтобы по клику добавлялось значение и была возможность указать значение по умолчанию, если добавляем 30-50 значений. 

Expand  

Уже реализовано разработчиками браузера )
После нажатия браузер предлагает значение которое чаше всего вы вставляли в это поле. Не гениально ли ? Причем реализация этой фунуции уже есть, она заполняется сама и каждому пользователю составляется свой набор параметров.

 

  В 30.12.2019 в 07:51, CtFelix сказав:

3. Как парсить изображения если в коде я вижу только маленькую превьюшку изображения, а чтобы увидеть полную картинку, нужно кликнуть на неё?

Expand  

95% случаем в коде есть изображение большого фото.
еше в 2% случаев можно просто поменять в ссылке на фото поменять одно значение и получите большое фото.
Опять же нужно видеть донора.
 

  В 30.12.2019 в 07:51, CtFelix сказав:

4. Поиск и замена. Почему бы не добавить сюда горячие кнопки типа {skip} и тд?

Expand  

По той причине что я пытаюсь добавить много поточность в модуль, внедрить крон. И пока я буду отвлекается на такие мелочи я оттягиваю действительно важные фичи для парсинга. Все будет просто на все нужно время. Модуль сильно молодой еше. Если бы я мог внедрять все по хлопку у вам было бы гораздо больше.

 

  В 30.12.2019 в 07:51, CtFelix сказав:

5. Для того, чтобы сгенерировать цифровой артикул, есть предложение умножить оригинальный на какое-то значение кажем на 7, но тогда артикул получится слишком длинный, 86912357594 как укоротить его до 4-6 знаков? 

Expand  

Можно не у умножать на на 7 можно умножить на 0.1 или 0.5
не обязательно умножать так что бы число выросло в сотни  раз.

 

  В 30.12.2019 в 07:51, CtFelix сказав:

6. Парсинг CSV почему при добавлении элементов не добавлять сразу цифру таблице? Мне нужно добавить 30 параметров и сижу проставляю эти цифры, это не норм, если мне нужно будет сменять номер ячейки, мне в любом случае нужно будет к ней обращаться, поэтому не вижу смысла делать их пустыми.

Expand  

Это не цифры. Это заголовки прайс листа. Модуль не проставляет номера колонок это делает сам эксель. А эти поля прдназначены что бы вы могли подписать колонку.
Описани
Главное фото
Цена
итд.
Номера колонок делает сам эксель не путайте это.

 

  В 30.12.2019 в 08:01, CtFelix сказав:

7. При добавлении/обновлении товара есть возможность сверить товары по артикулу или коду товара, но этих значений мало, нужно как минимум 3, ато и 4 варианта.

У меня есть уникальный артикул по сайту, он только у меня на сайте, есть артикул с сайта источника и нужен ещё один или 2 артикула с прайсов поставщиков, прочему бы не добавить в идентификатор товаров по уникальности скажем UPC = EAN = JAN = в них можно было бы добавить другие ID от поставщиков и при загрузке прайса от одного из поставщиков делать проверку на уникальность по этим значениям не выводя их на сайте. Либо сделать возможность создавать пользовательские поля.

Expand  

 

  В 30.12.2019 в 10:24, CtFelix сказав:

Ещё в дополнении к 7 пункту, у меня есть 2 прайса от разных поставщиков, у обоих по разному написана модель товара.

У одного поставщика GXP-1610 у второго GXP1610, и такая же ерунда и у источников, поэтому 7 пункт очень актуален.

Expand  

Да это можно внедрить. Лишним не будет.

[Rassol2]

Внимание.

Нужно наблюдения активных пользователей.
Ситуация с логами.

Суть такая, когда лог фал доходит до 35-40мб веса это примерно 400 - 500 тысяч строк, модуль подвисяет в момент парсинга. После удаления лога продолжает.
У меня такая проблема в упор не воспроизводится, возможно связано с качеством выделенными ресурсами на хостинге. Не могу понять
Обратите внимание на этот момент если при увеличении лог файла понижается скорость работы модуля или останавливается, сообщите буду менять логику логирования в модуле. Или делать ее мение зависимой от дисковой под системы.

Больше наблюдений точнее будут прогнозы и более качественная реализация модуля
 

[CtFelix]

  В 30.12.2019 в 10:55, Rassol2 сказав:

По куску текста не судят. Но вообше какая разница сколько пробелов ? Выбираете любой кусок что можете выделить. Так сказать грубо. Затем тонко дошлифовываете через поиск замену
https://simplepars.top/index.php?page=note&note_id=9

Expand  

В том то и проблема, что не работает, скинул донора в ЛС, у меня пишет lox, надеюсь это не про меня  скинул донора в ЛС

 

  В 30.12.2019 в 10:55, Rassol2 сказав:

Уже реализовано разработчиками браузера )

Expand  

Странно, но у меня не работает, попробую другой браузер

 

  В 30.12.2019 в 10:55, Rassol2 сказав:

95% случаем в коде есть изображение большого фото.

Expand  

Тоже на доноре в ЛС посмотрите пожалуйста.

 

  В 30.12.2019 в 10:55, Rassol2 сказав:

Можно не у умножать на на 7 можно умножить на 0.1 или 0.5

Expand  

И всё же есть решение?

 

  В 30.12.2019 в 10:55, Rassol2 сказав:

Это не цифры. Это заголовки прайс листа. Модуль не проставляет номера колонок это делает сам эксель. А эти поля прдназначены что бы вы могли подписать

Expand  

И всё же было бы неплохо автоматом подставлять какое либо значение, возможно даже название границ парсинга, чтобы эту рутину тоже автоматизировать.

[Rassol2]

  В 30.12.2019 в 14:07, CtFelix сказав:

В том то и проблема, что не работает, скинул донора в ЛС, у меня пишет lox, надеюсь это не про меня  скинул донора в ЛС

Expand  

нет не про вас. Обновите до последней версии.
 

  В 30.12.2019 в 14:07, CtFelix сказав:

И всё же есть решение?

Expand  

Есть решение  как я уже писал чрез умножение. Или просто хеш функция для формирования артикулов.
Поймите правильно я же не могу сделать формирования собственных артикулов из любых кусков кода да так что бы кому то цифрами, кому то текстом. А дальше кто то напишите а я хочу что бы мой цифирный артикул начинался с двух нулей как в 1С
Если у вас артикул у донора и он цифирный умножит его, или приплюсуйте к ниму какой то значение. Или разделите. И у вас останется артикул не похожий на донора и он будет цифирный писать специальную функцию которая будет хеширование в цифирный варианта я не будут это лишний код который нужно поддерживать и + цифирный артикул в маленьком количестве приведет к Коллизии когда два разные значения после хеширования приводят к одному.
 

  В 30.12.2019 в 14:07, CtFelix сказав:

И всё же было бы неплохо автоматом подставлять какое либо значение, возможно даже название границ парсинга, чтобы эту рутину тоже автоматизировать.

Expand  

когда вы открываете эксель вам же автоматом не проставляет значения колонок. Вы это делаете вручную.
Это вроде логично.
 

  В 30.12.2019 в 14:07, CtFelix сказав:

Тоже на доноре в ЛС посмотрите пожалуйста.

Expand  

Сейчас посмотрю.

[CtFelix]

  В 30.12.2019 в 14:33, Rassol2 сказав:

когда вы открываете эксель вам же автоматом не проставляет значения колонок. Вы это делаете вручную.
Это вроде логично.

Expand  

Блин, нежно было сохранить параметры полей и тогда они собираются, забыл это сделать, но всё же если бы автоматом подставлялось значение границы парсинга было бы удобно.

[Rassol2]

  В 30.12.2019 в 14:54, CtFelix сказав:

Блин, нежно было сохранить параметры полей и тогда они собираются, забыл это сделать, но всё же если бы автоматом подставлялось значение границы парсинга было бы удобно.

Expand  

Если вам все равно что там будет можете не заполнять эти поля. Они не обязательны при формировании csv
А по поводу атрибутов посмотрите в ЛС я вам видео скинул. Не стоит делать отдельные границы парсинга на каждый атрибут. Если можно спарсить их все сразу.

[partshez]

  В 30.12.2019 в 12:49, Rassol2 сказав:

Внимание.

Нужно наблюдения активных пользователей.
Ситуация с логами.

Суть такая, когда лог фал доходит до 35-40мб веса это примерно 400 - 500 тысяч строк, модуль подвисяет в момент парсинга. После удаления лога продолжает.
У меня такая проблема в упор не воспроизводится, возможно связано с качеством выделенными ресурсами на хостинге. Не могу понять
Обратите внимание на этот момент если при увеличении лог файла понижается скорость работы модуля или останавливается, сообщите буду менять логику логирования в модуле. Или делать ее мение зависимой от дисковой под системы.

Больше наблюдений точнее будут прогнозы и более качественная реализация модуля
 

Expand  

Спарсил только что 19 тыс ссылок через СайтМэп, кстати. Запущено одновременно 4 страницы модуля.  Остановок  не заметил пока. Тормозит немного, но работает

Добавлю еще немного. Работаю через СайтМэп. До чего же мне нравится! Ничего лишнего, только то, что нужно парсит. Советую...

Змінено 30 грудня 2019 користувачем partshez

[Rassol2]

  В 30.12.2019 в 20:47, partshez сказав:

Спарсил только что 19 тыс ссылок через СайтМэп, кстати. Запущено одновременно 4 страницы модуля.  Остановок  не заметил пока. Тормозит немного, но работает

Добавлю еще немного. Работаю через СайтМэп. До чего же мне нравится! Ничего лишнего, только то, что нужно парсит. Советую...

Expand  

это хорошо что нету.
Но вы должны понимать что сайт мап не всегда настолько полный как сам сайт. Все зависит от владельца сайта, и насколько он занимается своим сайтом.
Так же парсинг сайт мап не всегда подходит для моментального получения новых позиций. Это связано с тем что обновление карты сайта иногда ресурсоемкая задача и производится один раз в какой то период. Хорошо если раз в день, бывает и реже. В таком случаи для моментального получения ссылок на новые товары это не самый лучший выбор.
Еше один случай это когда в ссылке на товар нельзя определить категорию и вам нужны только товары одной категории, в таком случаи сайт мап тоже не самый лучший выбор.

В остальном да это удобно

[hippvik]

Ребята! С наступающим новым 2020 годом!  ????? УРЯЯЯ!!!!

[Rassol2]

  В 31.12.2019 в 17:03, hippvik сказав:

Ребята! С наступающим новым 2020 годом!  ????? УРЯЯЯ!!!!

Expand  

И вас,  всех с наступающим. !!!

[Rassol2]

Отдельное поздравление для пользователя @valadk 

Первый пользователь который решил присоединится к нашей дружной команде в 2020году!!! 

Спасибо вам !!!

[stas2010]

  В 30.12.2019 в 14:57, Rassol2 сказав:

Не стоит делать отдельные границы парсинга на каждый атрибут. Если можно спарсить их все сразу.

Expand  

не всегда так можно сделать - при парсинге с двух-трех доноров разных данных обойтись пачкой атрибутов нельзя, т.к. часто названия атрибутов на доноре отличаются от атрибутов своего магазина и тогда плодится куча похожих по названию и смыслу атрибутов, а если при этом еще у разных товаров атрибуты имеют одинаковое название, но разное назначение и при этом в магазине они разделены на группы, то просто впихнуть пачку атрибутов так, чтобы они правильно сопоставились с атрибутами своего магазина  - не получится.

  В 30.12.2019 в 07:51, CtFelix сказав:

2. Настройки парсинга "Текст окончания парсинга" можно ли там сделать, чтобы запоминалось последнее значение?

Expand  

ранее предлагал автору просто сделать кнопку "скопировать" или "продублировать границу" - тогда бы это упростило бы набивку одинаковых границ, в которых бы просто менял бы текст на новый. а так приходится каждый раз открывать какую-то границу и смотреть, как она настроена, чтобы сделать дубль. Да, реализация в броузерах по подсказке последних введенных значений - это хорошо, но кнопочка "скопировать границу" была бы удобнее.

 

 

[Rassol2]

  В 01.01.2020 в 19:30, stas2010 сказав:

Да, реализация в броузерах по подсказке последних введенных значений - это хорошо, но кнопочка "скопировать границу" была бы удобнее.

Expand  

Я не исключаю возможности появления такой фиче в будущем. Но это больше к украшательству, а этот 2020 год я хочу начать с реализации крутых фишек как много поточность и крон.
Уже собрался чемодан и маленькая тележка мелких вешей которые нужно реализовать, как на пример парсинг фото в описании с расположением на вашем сайте. Но пока это все придется отложить потому что реализация много поточности пронизывает базовые возможности модуля и параллельно разрабатывать разные плюшки не получается нужно выкатить глобальные функции отладить их и затем перейти опять к корректировке мелочей.

Как бы я не хотел выкатить сразу все идеально это не возможно поскольку реализуешь то чего еше не делали до тебя. И получается так делаешь фишку затем смотришь как она работает насколько востребована, и затем переписываешь еше раз учитывая уже опыт использования. А это время.
И сейчас время глобальных изменений.

[valadk]

  В 31.12.2019 в 22:34, Rassol2 сказав:

Отдельное поздравление для пользователя @valadk 

Первый пользователь который решил присоединится к нашей дружной команде в 2020году!!! 

Спасибо вам !!!

Expand  

Спасибо большое за персональное поздравление! 
Благодарен за такой полезный продукт ) Успехов всем и С Новым Годом!

[stas2010]

  В 30.12.2019 в 12:49, Rassol2 сказав:

Нужно наблюдения активных пользователей.
Ситуация с логами.

Суть такая, когда лог фал доходит до 35-40мб веса это примерно 400 - 500 тысяч строк, модуль подвисяет в момент парсинга.

Expand  

надо бы для удобства проверки добавить счетчик строк и размер лога прямо на страницу в модуле.