[Поддержка] SimplePars - Универсальный парсер для ИМ

[Tatyana78]

Здравствуйте. Скачала парсер, установила по инструкции. Но ссылки под производителями так и не появилось

[Kiyoshi]

1 час назад, Tatyana78 сказал:

Здравствуйте. Скачала парсер, установила по инструкции. Но ссылки под производителями так и не появилось

Попробуйте повторить 3 и 4 пункт инструкций

[Tatyana78]

Попробовала. Не получилось

[Rassol2]

13 часов назад, Tatyana78 сказал:

Попробовала. Не получилось

пришлите в лучку доступ к админке и фтп. Я вам установлю модуль.

[trancerr]

посмотрел видео

 

получается что парсит только по вхождению строки

а можно через классы ?

 

например как тут получить только названия Категорий товара?

 

1. <div class="breadcrumbs">
2. <a style="width:16.666666666667%;" href="/">Главная</a><div class="breadcrumbs-separator">|</div><a style="width:16.666666666667%;" href="/massazhnoe_oborudovanie/">Массажное оборудование</a><div class="breadcrumbs-separator">|</div><a style="width:16.666666666667%;" href="/kresla_massazhnye/">Массажные кресла</a><div class="breadcrumbs-separator">|</div><a style="width:16.666666666667%;" href="/kresla_massazhnye/dlya_doma_kr/">Массажные кресла для дома</a><div class="breadcrumbs-separator">|</div><ul class="dropdown"><a style="width:16.666666666667%;" href="/kresla_massazhnye/ofisnye_kresla/">Офисные массажные кресла</a></ul><div class="breadcrumbs-separator">|</div><span style="width:16.666666666667%;">Офисное массажное кресло EGO PRIME EG-1003</span></div>

 

 было бы удобно добавить выборку типа $('.breadcrumbs a').text();

 

 

 

и дополню, как тут будет ? что бы ссылку на картинку получить ?

с классами было бы проще

 

<a href="/f/product/ego_prime_eg1003_color-base.jpg" class="fancybox cycle-slide cycle-slide-active" data-fancybox-group="gallery1" style="position: absolute; top: 0px; left: 0px; opacity: 1; z-index: 100;">
                                <img src="/f/product/ego_prime_eg1003_color-base.jpg" alt="Офисное массажное кресло EGO PRIME EG-1003" class="animate-image" itemprop="image">
                            </a>

Змінено 8 листопада 2019 користувачем trancerr

[Rassol2]

35 минут назад, trancerr сказал:

получается что парсит только по вхождению строки

а можно через классы ?

 

например как тут получить только названия Категорий товара?

легко.
Но через класы никогда не будет. Потому что через классы нужно

1. Использовать библиотеку для парсинга, типа simple_html_dom что тратит колоссальные ресурсы.
2. И иметь разбираться в дереве html что далеко не все могут.

Скиньте ссылку на этот сайт и я покажу как. У вас довольно простой случай.

[trancerr]

18 minutes ago, Rassol2 said:

легко.
Но через класы никогда не будет. Потому что через классы нужно

1. Использовать библиотеку для парсинга, типа simple_html_dom что тратит колоссальные ресурсы.
2. И иметь разбираться в дереве html что далеко не все могут.

Скиньте ссылку на этот сайт и я покажу как. У вас довольно простой случай.

 

написал в личку

[Rassol2]

1 час назад, trancerr сказал:

с классами было бы проще

И снова ошибка.

1. Нагрузка на веб сервер.
2. Вы думаете что кто то кроме вас понимает что такое классы, свойства, дочерние родительские ?
А как парсить там где нету дом дерева ?
Как организовать все вот это багадство функционала используя неоправданно раздутые библиотеки по парсингу html ?
 

Спойлер

Я понимаю что сейчас меня закидают помидорами, но я уже подымал на эту тему спор.

Использование парсеров html dom в php это глупо если у вас хотя бы маломайский серьезные планы.
И использование библиотек для парсинга оправдывает себя только в одном случаи.

 

Когда вам нужно написать маленький парсер, в короткие сроки.

Во всех остальных случаях кушает много, нужно много знать что бы им пользоваться, и лишает множества возможностей, и самое больное связывает по рука и ногам разработчика.
 

1 час назад, trancerr сказал:

и дополню, как тут будет ? что бы ссылку на картинку получить ?

все в личку отправлю.

[trancerr]

23 minutes ago, Rassol2 said:

И снова ошибка.

1. Нагрузка на веб сервер.
2. Вы думаете что кто то кроме вас понимает что такое классы, свойства, дочерние родительские ?
А как парсить там где нету дом дерева ?
Как организовать все вот это багадство функционала используя неоправданно раздутые библиотеки по парсингу html ?
 

  Reveal hidden contents

Я понимаю что сейчас меня закидают помидорами, но я уже подымал на эту тему спор.

Использование парсеров html dom в php это глупо если у вас хотя бы маломайский серьезные планы.
И использование библиотек для парсинга оправдывает себя только в одном случаи.

 

Когда вам нужно написать маленький парсер, в короткие сроки.

Во всех остальных случаях кушает много, нужно много знать что бы им пользоваться, и лишает множества возможностей, и самое больное связывает по рука и ногам разработчика.
 

все в личку отправлю.

про классы это не спор, а предложение

просто сделать блок для выборки классами вместо фильтра, как альтернатива

кто умеет - будут благодарны

 

сейчас хосинги позволяют пользоваться такими библиотеками для DOM 

я ещё лет 5 назад делал такое и всё работало хорошо 

 

[Rassol2]

12 минут назад, trancerr сказал:

сейчас хосинги позволяют пользоваться такими библиотеками для DOM 

я ещё лет 5 назад делал такое и всё работало хорошо 

А вы пробовали в течении 3-5  часов непрерывно парсить сайт с такого хостинга.
Где примерно по 5-10тысяч ссылок. Когда каждая страница будет перебиратся библиотекой строится дом дерево.

 

Это все ресурсы которые вам никто не простит на хостинге.
И время затраченное модулем на построение дом дерева, что бы выбрать один элемент. А это время вы уже сами себе не простите.

То есть php сделает пол тысячи преобразований, около 100 правил регулярный выражений что бы составить вам дом, из которого вы выдерните текст который межды
<h1>имя товара</h1>
Это не целесообразно, если можно выполнить одно правило, регулярок, без каких либо преобразований в html коде.

Я это веду к тому что, пока что этого не будет. Что бы дать знатокам такую возможность мне придется внедрить библиотеку которая будет это делать.
И она постоянно должна будет выполнять преобразования что бы вы в любой момент могли воспользоваться возможность указать границу через класс

Не целесообразно.
Я знаю что вы сейчас скажите что можно сделать галочку когда подключать эту библиотеку что бы она не молотила постоянно.
Но комон, для внедрения этого нужно переписать все, от а до я. Ради того что бы можно было получить текст по классу.
Колоссальные затраты а выгоды технической нету. Наверное проще вам по другому водить границы чем мне так раздуть модуль, и его поддерживать.

 

[Shaer]

прошу прощения за тупой вопрос:  мне надо спарсить и регулярно обновлять всего несколько позиций на сайте - можно ли с помощью вашего модуля это организовать и автоматизировать? версия ок 2.3

[Rassol2]

1 минуту назад, Shaer сказал:

прошу прощения за тупой вопрос:  мне надо спарсить и регулярно обновлять всего несколько позиций на сайте - можно ли с помощью вашего модуля это организовать и автоматизировать? версия ок 2.3

Можно*
 

Сноски

* Нужно пояснение что для вас автоматизация ?

[Shaer]

41 минуту назад, Rassol2 сказал:

* Нужно пояснение что для вас автоматизация ?

ну например через крон в полночь карета превращается в тыкву а цены на сайте меняются в зависимости от изменений на доноре без человеческого участия

[Rassol2]

22 минуты назад, Shaer сказал:

ну например через крон в полночь карета превращается в тыкву а цены на сайте меняются в зависимости от изменений на доноре без человеческого участия

нет. пока что остановимся только на тыкве.

В моем модуле пока не реализован крон. Все остальное реально. А вот крона нету
Подписывайтесь на тему и не пропустите когда он появится.

[Rassol2]

Обновление 2.9-4_beta

 

Исправлены косяк с использованием short_open_tag ошибка о которой мне писали @Agatha65 и @realmen80 Все поправил.
Исправлена ошибка при удалении проекта.

Новшества.

Доработана система сбора ссылок, она стала еше более гибкой. За идеи спасибо @Kiyoshi
Для меня это по меньшей мере прорыв в сборе ссылок
 

Спойлер

Все подробности рассказал в видео.

 

Не забываем выполнить /inst.php

[Shaer]

17 часов назад, Rassol2 сказал:

нет. пока что остановимся только на тыкве.
 

покупку как лучше сделать- через сайт или можно напрямик?

 

[Rassol2]

3 минуты назад, Shaer сказал:

покупку как лучше сделать- через сайт или можно напрямик?

 

через сайт, напрямую не продаю. Через сайт у вас будет постоянный доступ к обновлениям.

[Rassol2]

Обновление первого дня. 2.9-5_beta

 

Сходу найдены недочеты. Пофиксил

[stas2010]

еще добавить к уровням - не брать внешние ссылки

[Rassol2]

1 час назад, stas2010 сказал:

еще добавить к уровням - не брать внешние ссылки

по умолчанию модуль отсевает все ссылки доменное имя которых не совпадает с доменным именем стартовой ссылки.

Обратной возможности нет, особо и просьб не было. А просто перегружать интерфейс очередной кнопкой которую не будут жать пока не хочу.
Как только появятся поклонники этой возможности я внедрю.
 

[Kiyoshi]

1 час назад, stas2010 сказал:

еще добавить к уровням - не брать внешние ссылки

Вещь зачетная но ситуативная не везде нужно да и обычно на соц сети ссылаются или каналы в менеджерах типа телеграм или вайбер отсекал фильтрами, или глубиной ссылок.

[stas2010]

7 минут назад, Kiyoshi сказал:

Вещь зачетная но ситуативная не везде нужно да и обычно на соц сети ссылаются или каналы в менеджерах типа телеграм или вайбер отсекал фильтрами, или глубиной ссылок.

именно про это и писал. можно по-умолчанию сделать, чтобы внешние источники отсекало. хотя некоторые используют доп.домены

 

про уровни вложения ссылок писал с самого начала, как видно, поклонники появились.

во многих парсерах отключение внешних ссылок присутствует.

кстати, варианты вложения не только по уровню имеются типа, www.site.com/level2/level3, но и не надо забывать про поддомены, типа, level2.site.com, level3.site.com. 

да, сейчас как бы всё стандартизируется и все сводится к обработке каких-либо стандартных движков, но такие случаи тоже встречаются.

 

Змінено 9 листопада 2019 користувачем stas2010

[Kiyoshi]

42 минуты назад, stas2010 сказал:

да, сейчас как бы всё стандартизируется и все сводится к обработке каких-либо стандартных движков, но такие случаи тоже встречаются.

Да заметил тенденцию особено класно когда они это в sitemap.xml делают. Встречал где все пополочка новость тут категорий там а товары вот. Когданить может и дойдем скормил ситема с товарами и ненужно сканировать собрал откуда нужно и вперед.

[Alexcctv]

Добрый день все воюю с парсером, имеется сайт https://krossovki-stock.ru/
пытаюсь парсить все только методом сбора ссылок альтернативный который, но есть непонятка вот 1 товар присвоен 2 категориям Женское Мужское, но при добавлении идет совпадение по артикулу и категория просто перезаписывается, сайт этот на опенкарте и блин обидно нормально спарсить не могу товары.

[Rassol2]

13 минут назад, Alexcctv сказал:

Добрый день все воюю с парсером, имеется сайт https://krossovki-stock.ru/
пытаюсь парсить все только методом сбора ссылок альтернативный который,

Альтернативный метот можно считать официально устаревшей технологией.
Смотрите - https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476467

Уже есть подход куда удобнее.

 

14 минут назад, Alexcctv сказал:

но есть непонятка вот 1 товар присвоен 2 категориям Женское Мужское, но при добавлении идет совпадение по артикулу и категория просто перезаписывается, сайт этот на опенкарте и блин обидно нормально спарсить не могу товары.

Если товар присвоен 2 категориям, и у вас есть ссылки на этот товар в 2 категориях, и там есть хлебные крошки в которых указаны пути к двум категорий. Тогда есть возможность реализовать.
И я сделаю такое. Но вы проверьте есть ли такое. Как правило товар видно в двух категориях, а ссылка на него одна и та же, и хлебные крошки одни и теже.
А если на сайте доноре нету двух наборов данных то и спарсить такое не получится.

По аналогии, Нельзя своровать то чего нет