[Поддержка] SimplePars - Универсальный парсер для ИМ

[ZevZ]

8 минут назад, Mixxxa163 сказал:

А при каких параметрах парсил..кэш потоки...?

Это не от парсера, а от поисковиков и не оптимизированного опенкарта.

Сразу создалось около 30К товара, поисковики зашли и нагнули сервер, хотя кэш вроде отдельным модулем работает, но видимо запросы к БД совсем не оптимизированны. Не рассчитан опенкарт из коробки на такое количество товаров, требует оптимизации и т.п. Или мощный хостинг.

 

Хотя, из-за отсуствия некоторых нужных функций, приходилось постоянно перепарсивать товары, соотвественно терялся кэш, и повышалась нагрузка... Как то так

Змінено 24 квітня 2021 користувачем ZevZ

[Rassol2]

8 минут назад, ZevZ сказал:

Хотя, из-за отсуствия некоторых нужных функций, приходилось постоянно перепарсивать товары, соотвественно терялся кэш, и повышалась нагрузка... Как то так

При перепарсивании кеш не теряется. Только если вы не удаляете и не парсите заново.
А это вопрос к подходу а не к парсеру.
А если вы опять намекаете на отсутствие функции добавлять фото только в том случаи если его не было.
То создание кеше фото вообще не как не относится к базе данных, и нагрузке на нее. Вот прям от слова вообще.

[Rassol2]

@ZevZ Но а если вы все постоянно перепарсиваете то тут проблема не в парсере, а в подходе.
По поводу фото писать не нужно, я вас слышал и помню.

[Mixxxa163]

Ддень, у донора в текстовом блоке Характеристики много ненужного кода при создании границ парсинга для Описания. Я могу этот блок взять целиком, после через Поиск замену отредактировать текст, убрать ненужный код, привести в соответствие как хочу видеть на сайте? При парсинге, это правило будет применено ко всем товарам, в блоке Характеристики? То есть текст везде разный, где-то больше характеристик и названия другие, но блок будет парситься в соответствии с указанными правилами замены, и текст везде будет как в правилах, без лишнего кода, с соблюдением заданной пунктуации? см https://prnt.sc/11yovqh

[ZevZ]

8 минут назад, Rassol2 сказал:

При перепарсивании кеш не теряется. Только если вы не удаляете и не парсите заново.
А это вопрос к подходу а не к парсеру.
А если вы опять намекаете на отсутствие функции добавлять фото только в том случаи если его не было.
То создание кеше фото вообще не как не относится к базе данных, и нагрузке на нее. Вот прям от слова вообще.

Теряется кэш. К сожалению... Если какие то изменения в бд, нужен новый кэш. Модуль нитропак. Да не намекаю... Констатирую факты... Вы думаете, человек способен с нуля понять ваш модуль и сделать с первого раза все как надо? Вот вам ещё один намек, что нужно думать о простых смертных, которые нихрена не понимают но хотят...  И способны своими действиями положить хостинг и напомнить кучу постов, до того, как разберутся

[Rassol2]

Только что, Mixxxa163 сказал:

Ддень, у донора в текстовом блоке Характеристики много ненужного кода при создании границ парсинга для Описания. Я могу этот блок взять целиком, после через Поиск замену отредактировать текст, убрать ненужный код, привести в соответствие как хочу видеть на сайте?

Да можете, для этого поиск замена и создан.
 

1 минуту назад, Mixxxa163 сказал:

При парсинге, это правило будет применено ко всем товарам, в блоке Характеристики?

При парсинге эти правила будут применены к той границе парсига где вы их написали, и да для всех страниц этого донора.
 

 

2 минуты назад, Mixxxa163 сказал:

То есть текст везде разный, где-то больше характеристик и названия другие, но блок будет парситься в соответствии с указанными правилами замены, и текст везде будет как в правилах, без лишнего кода, с соблюдением заданной пунктуации? см https://prnt.sc/11yovqh

Текст будет ровно такой как вы укажите правила поиск замены.
Именно так как вы настроите все и будет.

[Mixxxa163]

5 минут назад, Rassol2 сказал:

Да можете, для этого поиск замена и создан.
 

При парсинге эти правила будут применены к той границе парсига где вы их написали, и да для всех страниц этого донора.
 

 

Текст будет ровно такой как вы укажите правила поиск замены.
Именно так как вы настроите все и будет.

Спасибо буду пробовать!

[Rassol2]

2 минуты назад, ZevZ сказал:

Теряется кэш. К сожалению... Если какие то изменения в бд, нужен новый кэш. Модуль нитропак. Да не намекаю... Констатирую факты... Вы думаете, человек способен с нуля понять ваш модуль и сделать с первого раза все как надо? Вот вам ещё один намек, что нужно думать о простых смертных, которые нихрена не понимают но хотят...  И способны своими действиями положить хостинг и напомнить кучу постов, до того, как разберутся

Четно говоря это странное заявление.
У меня стоит ограничения на количество потоков, хотя модуль может работать в режиме 1000 миллионов потоков в секунду. Но ограничение в 5.
95% действий в модуле имеют последствие в виде логов где написано что происходит. Написано на русском (кроме ответа cURL)
Есть инструкция, есть видео по модулю.

Вот интересно где я не подумал об обчных смертных ?
Вы себе взяли в голову что это для гиков, и несете свою мысль в массы.

А тем не мение в инструкции нет описания многих функций, по той причине что бы "Смертные" не пугались и могли разобраться во всем.
Вот интересно почему вы такое говорите. Где я не думаю об смертных то ?
 

[Rassol2]

@ZevZ блин, да тут даже регулярные выражения это сложно, по этой причине ведется отдельная темя.
В этой теме записываю регулярные выражения которые решают часто встречающиеся задачи, что бы "Смертные" когда нужно было решить стандартную задачу, не изучали все регулярки, а просто скопировали вставили и пошли дальше.
https://simplepars.top/index.php?page=note&n=37

Это ли не показатель?

Или правильно поставить вопрос так.
Что нужно сделать по вашему мнению, что бы модуль считался для обычных смертных ?

[Rassol2]

@ZevZ та даже сам факт того что в модуле кроме регулярных выражения я сделал обычную систему поиск замены, говорит что модуль рассчитан на "смертных"
Что заменить|На что заменить
Где пользователю достаточно выделить мышкой скопировать поставиь вертикальную черту и написать на что заменить.

Это максимально просто. А мог сделать только регулярные выражения и все.
А я это написал, сделал что бы транслироваль в регулярки и делало замену.

А можно просто бахнуть ругулярки, вот тогда модуль будт расчитан только на гиков.
Я уехал буду вечером и внимательно прочту что вы ответите на этот вопрос.
 

Цитата

Что нужно сделать по вашему мнению, что бы модуль считался для обычных смертных ?

Интересно будет узнать где мой подход подкачал.

[Axelenz]

1 час назад, Rassol2 сказал:

Что нужно сделать по вашему мнению, что бы модуль считался для обычных смертных ?

Не думаю, что вообще что-то нужно делать. Необходимо иметь хотя бы соответствующее образование... ну хотя бы в интернете почитать про основы html, сайтостроение и пр. А если "смертным" вдруг станет интересно, как работает атомная электростанция, как там оно всё устроено... ) Сначала необходимо изучать теорию, а лишь потом уже тыкать на красную кнопку... А так... можно любого разработчика нагнуть... пусть открывает курсы программирования с нуля )))

[Dmitry76]

2 часа назад, Rassol2 сказал:

@ZevZ та даже сам факт того что в модуле кроме регулярных выражения я сделал обычную систему поиск замены, говорит что модуль рассчитан на "смертных"
Что заменить|На что заменить
Где пользователю достаточно выделить мышкой скопировать поставиь вертикальную черту и написать на что заменить.

Это максимально просто. А мог сделать только регулярные выражения и все.
А я это написал, сделал что бы транслироваль в регулярки и делало замену.

А можно просто бахнуть ругулярки, вот тогда модуль будт расчитан только на гиков.
Я уехал буду вечером и внимательно прочту что вы ответите на этот вопрос.
 

Интересно будет узнать где мой подход подкачал.

Всем не угодишь! Не нужно особо близко к сердцу принимать такие заявления как Вам написали.
От себя хочу добавить, я "простой смертный", особо сильно не разбираюсь в сайтостроении, разобрался с данным модулем, хоть и не сразу. Было бы желание.

[Dmitry76]

Подскажите, немножко не понимаю фразу в настройках парсинга в ИМ:
Про атрибуты
"Добавить новый не обновлять существующие, не создавать новые"

[Rassol2]

Подскажите, немножко не понимаю фразу в настройках парсинга в ИМ:
Про атрибуты
"Добавить новый не обновлять существующие, не создавать новые"

Если у вас в товаре есть атрибут Цвет. Но нет атрибута Вес. То модуль добавит в товар атрибут Вес, при этом он не будет обновлять атрибут Цвет.
Это нужно если вы парсите атрибуты с разных сайтов и хотите объединить только по недостающим. Как вариант.

Отправлено с телефона через Tapatalk

[Dmitry76]

48 минут назад, Rassol2 сказал:

Если у вас в товаре есть атрибут Цвет. Но нет атрибута Вес. То модуль добавит в товар атрибут Вес, при этом он не будет обновлять атрибут Цвет.
Это нужно если вы парсите атрибуты с разных сайтов и хотите объединить только по недостающим. Как вариант.

Отправлено с телефона через Tapatalk
 

Добавить новый ИЗ ИМЕЮЩИХСЯ В СВОЕЙ БД не обновлять существующие, не создавать новые(С ДОНОРА)
Я правильно чуть дополнил смысл?
Не понятно было противоречие: Добавить новый - не создавать новые

[Malciska]

23 часа назад, Rassol2 сказал:

Чуть поправлю.
"." - Любой символ, кроме переноса строки.
"+" - предыдущая конструкция хотя бы один раз должна совпасть, в нашем случаи предыдущая конструкция это "." то есть любой символ хотя бы один раз.
"\" - экранирует не для крассоты, но эта теория мне понравилась ). Допустим в конструкции .jpg если перед точкой не поставить \ то получится что это Ajpg тоже попадет под правило, так как символ А заменит та самая точка, а одна обозначает что ? Смотрим первую строку.
"?" - (будет там что-то или нет... хз...) - Не совсем, это жадность. Если не указать его тогда правило будет ЖАДНЫМ , а жадные что делаю ? Загребают все.


Пример без знака вопроса, то есть не жадный. Тут до первого совпадения.

  Показать контент

А теперь давайте уберем знак вопроса который ХЗ
Тем самым правило становится жадным.
 

  Показать контент

Как и все жадины говядины на одной единичке не остановятся если есть вторая, и на второй тоже не остановятся если есть третья.
И жадины вообще не остановятся пока не найдут максимальную единичку. И все это проглотят.

 

@Rassol2 @Axelenz От компании "зеленые, нубы и чайники" выражаю огромное спасибо за просветительскую деятельность 👨‍💻

Поверьте, такие короткие и простые пояснения ... часто дают на много больше толку и быстрых  результатов, чем поясняющая литература (для людей которые уже имеют минимальный багаж знаний). Лично на своем случае, я уже используя ваши примеры и пояснения чуток разобрался и уже применяю при работе с модулем.

 

Насчет лентяя.. : Перед тем как спросить у автора об значении знаков - я зашёл на табличку, посмотрел в инструкциях..

\ экранирующий символ что за экран? Зачем экранирует? Почему он так? Куда и от кого и чего эранирует? 🤣😅😂😁🤨😊 

 посмотрел на другую табличку а там кванторы O.o Кто этр ?          поэтому и спросил  И Вы коротко и ясно на примере разъяснили 👍

 

Еще раз огромное спасибо вам за помощь, терпение и обьяснения / пояснения  

сорри за оффтоп.

 

[Rassol2]

3 часа назад, Dmitry76 сказал:

Добавить новый ИЗ ИМЕЮЩИХСЯ В СВОЕЙ БД не обновлять существующие, не создавать новые(С ДОНОРА)
Я правильно чуть дополнил смысл?
Не понятно было противоречие: Добавить новый - не создавать новые

ну как бы да, добавить в товар, при этом не создавать новые атрибуты в магазине.


 

[Rassol2]

@Malciska Как бы да, но нужно понимать что вы замахнулись на сакральное!
Только вдуматься, вы хотите написать правило которое будет приводить код из тысячи разных магазинов, к единому стандарту.

А это как алхимия, вступая на этот путь нужно много, очень много изучать.

[Rassol2]

Обновление v4.4-1_beta

Редактор товаров.
Внесена правка которая должна помочь избежать проблем с отображением действий.
Вот про это - https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1716933

 

Настройка парсинга.
Внесены правки что бы iframe окно (это окно с пред просмотром сайта донора) не загружалось в фоне.

Спойлер

Раньше оно всегда грузилось, просто не отображалось, делал так что бы быстрее выводилась информация.
Теперь же загрузка этого окна начнется только если выбрано показывать. До этого момента загрузка ни в каком виде идти не будет.
Так же напомню. Не все сайты разрешают просматривать их в iframe (то есть открывать сайт внутри сайта) И это нормально, на парсинг не влияет.

В таких случая вам нужно нажать на
 

Спойлер

И модуль откроет еще одну вкладку в браузере, где будет загружена страница, код которой вы видите в пред просмотре.
Таким образом вы сможете настраивать поглядывая в соседнюю вкладку браузера.

Парсинг в ИМ
Добавлена возможность обновлять изображения только в тех товарах в которых его нет.
То есть нет изображения совсем!!!

 

Спойлер

Сделал по просьбе. @ZevZ

Обратите внимание, что бы модуль начал грузить фото в этом режиме, в товаре не должно быть главного изображения и ни одного дополнительного.
То есть вот так.
 

Спойлер

Но тут есть очень, очень неприятный подводный камень.

Если в товаре прописано изображение, но при этом физически оно отсутствует на хостинге, то через редактор товара вы не можете определить, нету фото или фото битое.

Обратите внимание, на вид как будто бы у товара нет изображения. И смотрим какой это id

Спойлер

id товара 15052 идем в базу данных и смотрим. Что же там у товара.

 

Спойлер

Как видим запись есть, значит в товаре по факту записано изображение.

Вот в таких случаях модуль НЕ ДОБАВИТ ИЗОБРАЖЕНИЯ при выбранном режиме Добавлять изображения если в товаре их нет
Так как модуль не проверяет присутствие физически файла на диске, а тем более что бы это файл корректно открывался.

Надеюсь мне не придется удалять эту функцию из за того что обычные пользователе не понимают как она работает, или не будут понимать как проверить нет изображения или оно битое.
Особенно предвкушаю такую проблему с парсингом изображений в формате webp которые порсятся и записываются в магазин идеально, только вот опенкарт их не выводит.

[Rassol2]

В инструкции добавилось еще одна статья.
Как поменять регистр букв через поиск замену.
https://simplepars.top/index.php?page=note&n=43

[Mixxxa163]

Здравствуйте! Подскажите пожалуйста, как спарсить тестовый маркированный список? https://prnt.sc/1212yzd 

Я делаю так:

<{skip}>| - Удалит html код из текста.
{reg[#^(\s|\t)+#m]}| - Удалить все пустые строки. (строки содержащие только пробелы и табуляции)

 

У меня получается он в одну строчку после обработки https://prnt.sc/12139tv

[Rassol2]

9 минут назад, Mixxxa163 сказал:

Здравствуйте! Подскажите пожалуйста, как спарсить тестовый маркированный список? https://prnt.sc/1212yzd 

Я делаю так:

<{skip}>| - Удалит html код из текста.
{reg[#^(\s|\t)+#m]}| - Удалить все пустые строки. (строки содержащие только пробелы и табуляции)

 

У меня получается он в одну строчку после обработки https://prnt.sc/12139tv

Это нужно смотреть какой текст у вас на входе.
Может переносы строк организованы через html символ <br>
а первым правилом вы его вырезаете.

[Mixxxa163]

6 минут назад, Rassol2 сказал:

Это нужно смотреть какой текст у вас на входе.
Может переносы строк организованы через html символ <br>
а первым правилом вы его вырезаете.

На входе вот такой https://prnt.sc/121479m

[Rassol2]

4 минуты назад, Mixxxa163 сказал:

На входе вот такой https://prnt.sc/121479m

Вот все стало на места, вот эти теги делаю вам переносы строк.
Они же параграф.

В таком случаи вам нужно вырезать все html кроме них.

[Rassol2]

@Mixxxa163 можете сделать так.

добавить эти правила самыми первыми. Перед вашими
<p {skip}>|[p]
</p>|[/p]

А вот эти самыми последними, после ваших.
[p]|<p>
[/p]|</p>
должно сработать.