[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

7 минут назад, payn сказал:

А подскажите, как сделать такой вот финт при парсинге картинок, есть ссылка вида, https://сайт/ %id% /%имя файла%.jpg

 

id я получаю

и имя файла я получаю

 

проблема в том, что на странице одного товара меняется только  id дополнительных фото, имя файла одинаково

 

путем замены и подстановки я получаю все ссылки нужно формата, но только до https://сайт/ %id% /  как мне подставить в конец  имя файла ?

?

Напишите мне в лучку. Ссылку на страницу где вы парсите и я попробую найти решение. 
 

[Fimo]

Уважаемый @Rassol2 , когда планируете выпуск версии для 3.x ?

[Rassol2]

Только что, Fimo сказал:

Уважаемый @Rassol2 , когда планируете выпуск версии для 3.x ?

После обкатки версии 2 исправления ошибок. Тогда приступлю к адаптации под 3 версию. 

[mdbolgar]

Вопрос 
можно ли привязать парсинг к отдельному сайту и чтобы он обновлял цены при изменении на сайте донора(партнёра)?
Сохранить его и чтобы он например раз в неделю обновлял цены?

[Rassol2]

2 минуты назад, mdbolgar сказал:

Вопрос 
можно ли привязать парсинг к отдельному сайту и чтобы он обновлял цены при изменении на сайте донора(партнёра)?
Сохранить его и чтобы он например раз в неделю обновлял цены?

Все можно кроме раз в неделю. 
Крон еше не реализован. Работа по крону позже начну реализовывать. С ним у меня тоже есть много классных идей. 

[mdbolgar]

раз в месяц или как?

[Rassol2]

1 минуту назад, mdbolgar сказал:

раз в месяц или как?

Любое время. Ограничений не будет.
И настройка времени когда выполнять скрипт будет производится в самом модуле, а не на стороне админки веб хостинга. 
Крон вы зададите выполнять каждую минуту к примеру. 

А в самом модуле уже будете выбрать когда запускать когда нет. Крон будет чекать настройки модуля и отталкиваясь от них уже делать работу. 
Где то парсинг ссылок запускать , где то обновление цены, где парсинг. 

Идей много но к крону буду подходить основательно. И нужно много чего изучить и от тестировать. 

[Axelenz]

Из пожеланий, чего не хватало в работе версии 1.3.

1. Анализатор времени (можно даже с опцией включения/выключения). Например, когда необходимо парсить большое количество ссылок, выводится время сколько потрачено и приблизительно анализируется время, которое ещё осталось до конца парсинга.

2. Парсинг при условии. Т.е. возможность задать какое-то отдельное условие (например, если на странице есть "товар в наличии") при выполнении которого выполняется парсинг страницы. В остальных случаях парсинг не производиться, т.е. работа парсера ускоряется и на выходе получаем необходимый прайс без дополнительной обработки. Можно даже предусмотреть вывод сразу в два прайса, т.е. разделение по выполнению/не выполнению условия...

[Rassol2]

Я уже думал о подобном. 

Но это все будет реализовываться уже в ветке 2. 

 

В 1.3 я не буду вносить изменения сильно большая разница в кодовой базе.

Ну или только по мелочи фиксить что то. 

[pomansur]

4 часа назад, Axelenz сказал:

2. Парсинг при условии. Т.е. возможность задать какое-то отдельное условие (например, если на странице есть "товар в наличии") при выполнении которого выполняется парсинг страницы. В остальных случаях парсинг не производиться, т.е. работа парсера ускоряется и на выходе получаем необходимый прайс без дополнительной обработки. Можно даже предусмотреть вывод сразу в два прайса, т.е. разделение по выполнению/не выполнению условия...

 

6 часов назад, mdbolgar сказал:

Вопрос 
можно ли привязать парсинг к отдельному сайту и чтобы он обновлял цены при изменении на сайте донора(партнёра)?
Сохранить его и чтобы он например раз в неделю обновлял цены? 

Вот точно, хорошие хотелки. Прям в тему.

Сейчас у кого как не знаю. У меня так - свой сайт донор. Первоначально льются прайсы поставщиков (название-цена(прайсы не в манду)), далее по ним парсится Ямаркет по условию, собирает в свою базу разношерстные товар, делает наценки, генерит теги и т.д. Сейчас приходиться через экспорт-импорт раскидывать на саттелиты группы товаров. В общем крон нужная тема )))

[Rassol2]

6 часов назад, Axelenz сказал:

Можно даже предусмотреть вывод сразу в два прайса, т.е. разделение по выполнению/не выполнению условия...

на 2 прайса точно делать не буду.
Сложность большая а вот практичности пока меньше. 

 

6 часов назад, Axelenz сказал:

2. Парсинг при условии. Т.е. возможность задать какое-то отдельное условие (например, если на странице есть "товар в наличии") при выполнении которого выполняется парсинг страницы. В остальных случаях парсинг не производиться, т.е. работа парсера ускоряется и на выходе получаем необходимый прайс без дополнительной обработки.

А вот здесь мало выхлопа. 
Основная нагрузка это сам процесс обращения к удаленному серверу получения данных. 
Но если мы уже обратились, и уже получили ответ. То разбор данных это уже пыль по нагрузке. 
К чему это я, условия выполнения. Для того что бы проверить страницу на условие мне нужно скачать страницу и разобрать ее парсером, затем проверить на условие. 
Чисто технически как по мне это более затратно. Чем получать страницу и разобрать ее парсером. 

Но в самой идее есть смысл. Я его вижу для страницы сбора ссылок на товар. Не всегда можно точно определить страницы товара.
Но если сделать трети условия для сбора ссылок тогда можно будет сократить процесс. 
А именно. Третье условия это определенный текст на странице. 
На странице категорий редко встретишь слово код или артикул, а в товаре это 85% случаев будет, и такие сайты легко можно будет разобрать на разные группы ссылок. 

Вот это я думаю как реализовать. 

В данном модуле нужно полностью поменять работу с ссылками. И сбором их. 
Когда я начал писать этот модуль я не думал что дойду да такого. И теперь нужно переделывать часть модуля которая создавалась без задела на будущее. 
 

[Rassol2]

2 часа назад, pomansur сказал:

В общем крон нужная тема )))

нужен как воздух. 
И мы потихоньку будем двигаться в эту сторону. 

[Rassol2]

Обновление. 

В связи с тем что есть пожелания к модулю, а ошибок на удивление нет. Либо мне о них не сообщают. 
Было время расширить немного список поддерживаемых версий. 
Так что теперь у нас побольше список.
http://joxi.ru/gmvvL1Jhqe0EOm
Вроде тщательно проверял все сборки, но от этого голова кругом идет. Так что пробуйте  

В остальном все по старому так что кто поставил версию 2 особо смысла в обновлении нет. 

[Axelenz]

И ещё полезные хотелки...

Иногда при парсинге, например, списка типа:

<ul class="123">

<li>...</li>

...

<li>...</li>

</ul>

самым доступным способом выделения необходимого текста является указание границ парсинга <ul class="123"> и </ul> соответственно... Но не хватает небольшой такой галочки, поставив которую мы получаем включение границ парсинга в то, что парсим. Т.е., чтобы модуль спарсил не

<li>...</li>

...

<li>...</li>

а включил в текст парсинга и сами границы и получаем на выходе

<ul class="123">

<li>...</li>

...

<li>...</li>

</ul>

Понимаю, что разными способами можно потом это дописать, подменить и использовать прочие антигемморойные штучки, но зачем ??? Если можно всего лишь дописать программно, чтобы границы парсинга имели вхождение в текст парсинга при включении соответствующей галочки ? Это ведь намного упростит некоторые задачи...

 

[Rassol2]

1 минуту назад, Axelenz сказал:

И ещё полезные хотелки...

Иногда при парсинге, например, списка типа:

<ul class="123">

<li>...</li>

...

<li>...</li>

</ul>

самым доступным способом выделения необходимого текста является указание границ парсинга <ul class="123"> и </ul> соответственно... Но не хватает небольшой такой галочки, поставив которую мы получаем включение границ парсинга в то, что парсим. Т.е., чтобы модуль спарсил не

<li>...</li>

...

<li>...</li>

а включил в текст парсинга и сами границы и получаем на выходе

<ul class="123">

<li>...</li>

...

<li>...</li>

</ul>

Понимаю, что разными способами можно потом это дописать, подменить и использовать прочие антигемморойные штучки, но зачем ??? Если можно всего лишь дописать программно, чтобы границы парсинга имели вхождение в текст парсинга при включении соответствующей галочки ? Это ведь намного упростит некоторые задачи...

 

да, можно подумать над этим. 
Добавлю к списку на улучшения парсинга. 
там еше лежит такая веш как номер вхождения. То есть в повторяющихся границах когда парсиш категории ненужно слово Главная, можно ввести с 2 вхождения и первое будет припушено. 

то же самое для обычной границы парсинга. Что бы можно было выбрать какое вхождение вас интересует. Сейчас работает первое. А ведь можно что то и придумать  

[Rassol2]

Обновление Alpha3
 

Занес немного исправлений.

Реализовал возможность использовать диапазоны времени в паузе парсинга. 

Как с этим работать. 

Теперь есть два режима работы паузы при парсинге.
1. Если указана одна цифра к примеру 3, тогда модуль после обработки одной ссылки ждет 3 секунды и берет следующую. 
2. Если указан диапазон. Допустим как на скриншоте выше. 1.5-5  Это значить что после обработки одной ссылки модуль будет ждать не меньше полутора секунд, но не больше пяти, перед тем как взмет следующую ссылку. 

Диапазон указывается при помощи символа тире. -

Если вы укажите 1-2 это не значит что модуль будет по очереди то одну секунду ждать, то две. Модуль будет рандомно выбирать время от одной секунды до двух. 
Одна секунда это 1000 000 микросекунд.
Так же можно указывать время в десятых, сотых и тысячных одной секунды.

К примеру 0.1-0.5  В таком случаи модуль будет ждать от одной десятой секунды до пол секунды прежде чем приступить к следующей ссылке. 

 

Ну и воспользуюсь случаем напомню что используя паузу парсинга вы снижаете вероятность того что донор захочет вас забанить за аномальную активность. 

Так же обратите внимание что пауза парсинга обрабатывается на стороне хостинга, а значит указывать верхнюю планку больше 30сек не рекомендуется.

Можно наткнутся на ограничения хостингом на время выполнения скрипта. 
Не знаю кому может понадобится ждать между ссылками 30 и больше секунд, но предупредить стоит. 

Так же незабываем выполнять inst.php при обновлении.
Для данного обновления это необходимо. Ваши настройки сохранятся. 

Сделано по просьбе - @Nomandvs  

[mdbolgar]

вопрос 
парсер собирает все ссылки с сайта?а если я хочу собрать ссылки с отдельной категории, он делает мне опять весь сайт донора?

[Rassol2]

вопрос 

парсер собирает все ссылки с сайта?а если я хочу собрать ссылки с отдельной категории, он делает мне опять весь сайт донора?

Вы можете на странице сбор ссылок в поле фильтр очереди ссылок указать ссылки на какие страницы собрать. Выбираете страницы нужной категории. А в фильтре ссылок выдачи указать ссылки на товар.

 

И вы получите ссылки на товар в определенной категории.

 

Сбор ссылок с определенных страниц уже давно реализован. Можете пробовать.

 

 

Отправлено с моего Pixel через Tapatalk

 

 

 

[Rassol2]

Обновление v2.1-Alpha3 
 

1. Исправле ошибке в работе поиск замена. 

2. Новая функция.

Импорт/Экспорт Настроек
Добавлена страница импорта экспорта настроек.

Основные возможности.
1. Ну наконец я не буду писать вам тысячи строк и скриншотов что бы показать как можно сделать. Теперь если у вас что то не получается вы можете приложить ваши настройки, я их проверю поправлю и верну вам форму. (Не злоупотребляйте этим я все же один а вас много  )
Это облегчит мне предоставления тех поддержки.

2. Если вы производите настройку и сомневаться в правильности, или хотите попробовать кардинально другой подход, и при этом не хотите потерять действующие настройки вы можете сделать бэкап, попробовать и в случаи неудачи откатить настройки. 

3. Так же пользователи теперь могу производить настройки доноров и делится ими с друг другом.

4. Есть возможность завести базу готовых решений. Произвести настройку самых популярных сайтов и делится ими с другими пользователями.
4.1) Так же опытные пользователи могут завести свою собственную сборку настроек под разные сайты доноры и продавать их. Тем самым облегчить наполнение сайтов для менее опытных пользователей. 

PS. надеюсь данное новшество будет тепло встречено всеми. 
Возлагаю надежды на импорт экспорт настроек, потому я уже устал под каждый вопрос создавать отдельно форму проверить и делать описание с скриншотами 

Данное нововведение посвящается @Uper  

[Fimo]

Я просто в безумном счастье от Вашего модуля и скорости обновлений. Так держать, вот это я понимаю грамотный подход !

Огромное Вам спасибо @Rassol2!

Змінено 8 квітня 2019 користувачем Fimo

[Rassol2]

9 часов назад, Fimo сказал:

Я просто в безумном счастье от Вашего модуля и скорости обновлений. Так держать, вот это я понимаю грамотный подход !

Огромное Вам спасибо @Rassol2!

спасибо.
Будем стараться и дальше. 

[Rassol2]

Обновление v2.1-Beta-1

1. Исправления мелких ошибок.
2. Так же поменял немного подход к кодировкам. (Походу нужно создавать свой метод для определения.)
3. Так же исправил шибки в выводе кода на странице настроек парсинга. @osa123 Можете обновятся и ваши сайты будут работать. 

4. Что бы быстрее собрать базу разношерстных сайтов, где есть какие то косяки с выводом кода, добавил предупреждение.
так что если видите это сообщите мне ссылку что бы я мог рассмотреть и устранить. 

Так же хотел обратить внимание что иногда (редко но бывает) Сайт не открывается в окне пред просмотра. 
Вот так это выглядит 
 

Спойлер

Это НЕ ошибка модуля. Просто владельцы данного сайта в настройках указали ЗАПРЕТ на просмотр их сайта в ifrem (грубо говоря сайт в сайте)
С таким сайтами просто открываете в другой вкладке вашего браузера страницу, смотрите что вам нужно и вносите настройки. Парсить будет. Не будет работать только превью сайта на странице настроек парсинга. 
 

[hippvik]

Дорой ночи!) Вот такая ошибка в пред просмотре товара для импорта в магазин  не отображается изображение товара и вот такая надпись.Что это может быть? и при экспорте в магазин фото не экспортируется, но в файле эксель если выводить, то ссылка на фото рабочая.

Undefined index: link_show in /home/u713263416/public_html/admin/controller/catalog/simplepars.php on line 689

Заранее спасибо!!!

Змінено 10 квітня 2019 користувачем hippvik

[Rassol2]

2 минуты назад, hippvik сказал:

Дорой ночи!) Вот такая ошибка в пред просмотре товара для импорта в магазин  не отображается изображение товара и вот такая надпись.Что это может быть? и при экспорте в магазин фото не экспортируется, но в файле эксель если выводить, то ссылка на фото рабочая.

Undefined index: link_show in /home/u713263416/public_html/admin/controller/catalog/simplepars.php on line 689

Заранее спасибо!!!

Здравствуйте. 
Можете мне в ЛС скинуть настройки с ссылками я проверю. 

[Rassol2]

@hippvik

Цитата

Undefined index: link_show in /home/u713263416/public_html/admin/controller/catalog/simplepars.php on line 689

Заранее спасибо!!!

В принципе по коду ошибку я нашел. В ближайшем обновлении поправлю. 
 

Цитата

Что это может быть? и при экспорте в магазин фото не экспортируется, но в файле эксель если выводить, то ссылка на фото рабочая.

А вот это хотел бы изучить. 
если скинете экспорт настроек с ссылками буду признателен.