[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

Обновление 2.2-1_Beta-1

 

Доработал сбор ссылок.
Доработал распознавание кодировки сайта.

 

5 часов назад, Axelenz сказал:

В последней версии почти вся выдача ссылок типа:

https://site.com.ua//site.com.ua/

@Axelenz  - как вы написали что программы парсят с дублями. Я доработал модуль, проверьте и отпишитесь.  
А то аж интересно смог ли разгадать все и доработать

[SLASH]

Спасибо за настройки.

Не понял, куда вставлять ссылку на категорию, которую хочу спарсить.

На счет атрибутов. Если разделить атрибуты по разным ячейкам, то будет получаться постоянно разное количество колонок, поскольку атрибутов бывает разное количество. Раньше я грузил с прайса, где у каждого атрибута своя колонка с названием, а колонки отсортованы по названию, поэтому  любая колонка, не зависимо есть у нее значение или она пустая стояла на своем месте. Если она пустая, при загрузке через АОП, этот атрибут не создавался. Тут я вижу, что атрибуты нужно грузить как одно значение, чтобы не изменилось количество колонок.

 

[Axelenz]

10 часов назад, Rassol2 сказал:

Обновление 2.2-1_Beta-1

 

Доработал сбор ссылок.
Доработал распознавание кодировки сайта.

 

@Axelenz  - как вы написали что программы парсят с дублями. Я доработал модуль, проверьте и отпишитесь.  
А то аж интересно смог ли разгадать все и доработать 

 

Благодарю, теперь парсится !

[Rassol2]

Спасибо за настройки.
Не понял, куда вставлять ссылку на категорию, которую хочу спарсить.
На счет атрибутов. Если разделить атрибуты по разным ячейкам, то будет получаться постоянно разное количество колонок, поскольку атрибутов бывает разное количество. Раньше я грузил с прайса, где у каждого атрибута своя колонка с названием, а колонки отсортованы по названию, поэтому  любая колонка, не зависимо есть у нее значение или она пустая стояла на своем месте. Если она пустая, при загрузке через АОП, этот атрибут не создавался. Тут я вижу, что атрибуты нужно грузить как одно значение, чтобы не изменилось количество колонок.
 

Можете настроить на каждый атрибут отдельную границу парсингу. И указать ее в прайсе и будет так же как вы работали ранее.

Отправлено с моего Pixel через Tapatalk

[Rassol2]

 
Благодарю, теперь парсится !

Рад что все работает хорошо.

Отправлено с моего Pixel через Tapatalk

[SLASH]

Вставляю ссылку на категорию, которую хочу спарсить в стартовую ссылку, пишет "сканирование завершено" , но в выдаче ссылок пусто.

Подскажите, как правильно это сделать? Почему нужно парсить в моем случае именно мобильную версию?

[Rassol2]

1 минуту назад, SLASH сказал:

Вставляю ссылку на категорию, которую хочу спарсить в стартовую ссылку, пишет "сканирование завершено" , но в выдаче ссылок пусто.

Подскажите, как правильно это сделать? Почему нужно парсить в моем случае именно мобильную версию?

странно это как то, сегодня второе подобное сообщение. 
Можете написать в ЛС логин и пароль от админки хочу посмотреть что же это такое.
И ссылку которую вы вставляете в стартовую. 

У себя такой баг воспроизвести не получается. 

[Rassol2]

После добавления стартовой ссылки незабываем нажимать сохранить. 
Перед тем как приступить к сбору ссылок. 

[SLASH]

Появились новые проблемы.

1. Это то, что оптовые цены показываются только залогиненным.

2. Если мне надо выбрать из каталога только товары, например, с сезонностью "лето", то я ставлю на сайте галку в фильтре и получаю в полной версии сайта url типа 

https://gepur.com/catalog/platya-midi?filters=season:leto

в мобильной версии url с фильтром ничем не отличается от url без фильтра

https://m.gepur.com/catalog/platya-midi, хотя товары выводятся те же..

Тут что-то можно придумать?

[Rassol2]

3 часа назад, SLASH сказал:

 

2. Если мне надо выбрать из каталога только товары, например, с сезонностью "лето", то я ставлю на сайте галку в фильтре и получаю в полной версии сайта url типа 

https://gepur.com/catalog/platya-midi?filters=season:leto

в мобильной версии url с фильтром ничем не отличается от url без фильтра

https://m.gepur.com/catalog/platya-midi, хотя товары выводятся те же..

Тут что-то можно придумать?

 

Можно собрать на обычный сайт ссылки 
затем просто добавить в начало m. через эксель или в любой границе поиск замена в поле для тестирования

копируете туда ссылки и поиск замена на https:// заменить на https://m. и нажать на преобразовать в поле Текст после обработки получите ссылки с m. 
Скопируете их в поле выдачи нажмете сохранить. 

Вот так можно получить и с фильтрами, и на моб версию. 
 

Цитата

1. Это то, что оптовые цены показываются только залогиненным.

Парсинг с авторизацией еше не сделал, так что это пока не возможно.
Но если авторизация по кукам работает. Можете в браузере залогиниться в с воем. А в модуль скопировать куки. И модуль будет парсить как авторизованный. 
Для этого открываете файл /admin/model/catalog/simplepars.php ищите в коде строку 

#curl_setopt($ch, CURLOPT_COOKIE , "");
Убираете в решётку в начале и между кавычек записываете код из куково браузера. получится примерно так.
curl_setopt($ch, CURLOPT_COOKIE , "PHPSESSID=25777452953829311697cae9fd2989b0");
И модуль будет притворятся вашим браузером. 

 

Пока так можно сделать. 
 

[Rassol2]

Обновление. 2.2-3_Beta-1
 

Исправлен пред просмотр парсинга в CSV теперь в нем выводятся теги html что бы вы видели какой текст попадет в конечный прайс.


Так же добавлена подсветка в поиск замену границу родителя.

Что бы можно было видеть внутри какой границы крутится повторяющаяся граница. И можно было поправить правила для родительской границы. 

Выбранная граница подсвечена зеленым. А граница родитель желтым (или оранжевым кто как видит. )
 

[Axelenz]

И опять же из раздела хотелок...

 

Иногда при парсинге бывает нужно, например, с "хлебных крошек" выдернуть всего лишь одно или несколько значений, а не все. Они могут использоваться не только в качестве категории... Может в "Повторяющихся границах парсинга", после "Пропустить вхождения" добавить окошко, где можно было бы задать конкретное число, сколько спарсить "крошек" после пропуска ? В моей задаче, например, на сайте была вложенность - 6 "крошек", с которые реально мне нужно было 1-2. Понятно, что всё это возможно сделать и в Excel, но всё же...

[Rassol2]

5 минут назад, Axelenz сказал:

И опять же из раздела хотелок...

 

Иногда при парсинге бывает нужно, например, с "хлебных крошек" выдернуть всего лишь одно или несколько значений, а не все. Они могут использоваться не только в качестве категории... Может в "Повторяющихся границах парсинга", после "Пропустить вхождения" добавить окошко, где можно было бы задать конкретное число, сколько спарсить "крошек" после пропуска ? В моей задаче, например, на сайте была вложенность - 6 "крошек", с которые реально мне нужно было 1-2. Понятно, что всё это возможно сделать и в Excel, но всё же...

дак уже реализовано.

Опишите конкретно пример с крошками. 

Сейчас можно в повторяющихся граница парсинга сделать следующее.

1. Пропустить вхождение от начала.

2. Пропустить вхождение с конца. 

3. Пропустить вхождение от начала и от конца одновременно.
4. Пропустить от начала любое количество вхождений и взять после этого определенное количество вхождений.
5. Пропустить с конца несколько вхождений и после этого взять любое количество вхождение.
6. Как вишенка на торте вывести повторяющиеся границы в обратном порядке. 

Напишите здесь ваш пример и я отпишу как сделать, если это возможно. Так что бы и остальные это увидели. 

[Axelenz]

<ul>
<li class="home" itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/"><span itemprop="title"></span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_bikes.htm"><span itemprop="title">Велосипеды</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/"><span itemprop="title">Велосипеды Intenzo</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_cross_country.htm"><span itemprop="title">Горные велосипеды</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/filter=biketype:mountain/"><span itemprop="title">Горные велосипеды Intenzo</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><span itemprop="title">Велосипед Intenzo Dakar 26"</span></li>
</ul>

Нужны "Горные велосипеды", например.

[Rassol2]

1 час назад, Axelenz сказал:

<ul>
<li class="home" itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/"><span itemprop="title"></span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_bikes.htm"><span itemprop="title">Велосипеды</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/"><span itemprop="title">Велосипеды Intenzo</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_cross_country.htm"><span itemprop="title">Горные велосипеды</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/filter=biketype:mountain/"><span itemprop="title">Горные велосипеды Intenzo</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><span itemprop="title">Велосипед Intenzo Dakar 26"</span></li>
</ul>

Нужны "Горные велосипеды", например.

 

Вот так это решается

 

3-1 звучит как 

Первые 3 вхождения пропустить, после взять 1. Остальное пропустить. 

[Axelenz]

23 минуты назад, Rassol2 сказал:

 

Вот так это решается

 

3-1 звучит как 

Первые 3 вхождения пропустить, после взять 1. Остальное пропустить. 

 

Оригинально... благодарю.

Тогда и окошко может лучше подписать соответственно: "Пропустить вхождения [-взять]"

[Rassol2]

3 минуты назад, Axelenz сказал:

 

Оригинально... благодарю.

Тогда и окошко может лучше подписать соответственно: "Пропустить вхождения [-взять]"

нет потому что там сильно много функционала подвязано. И все отталкивается от пропуска. 

Если будет

Пропуск вхождение = 3-1
Где пропускать С начала и с конца. 

то это уже трактуется по иному.

3-1 - Звучит как : Пропустить первые 3 вхождения затем берем все кроме 1 последнего.
Эта цена которую придется заплатить за универсальность. 
Не выйдет придумать одно название на все случаи жизни, как и не стоит делать много кнопок и полей для разных вариантов. 

Луче уже заполонить что через тире это первый пропуск второе значение количество нужных элементов.
КРОМЕ варианта С начала и конца только здесь это не диапазон а пропуск с разных краёв. 

[stas2010]

Предлагал автору реализовать такой универсальный вариант, но не принял

тогда бы можно было бы убрать выбор трех вариантов в форме и просто в одной строке всё описать:

 

Главная / Книги / Бизнес-литература / Экономика. Экономическая теория / История экономических учений / Капитал

2>,1;1>,1

2> - пропустили 2 вхождения с начала. далее начинаем считать от пропущенного.

1 - взяли одно вхождение после пропущенного

; - разделитель "взять сначала";"взять с конца"

1> - пропустили с конца одно

1 - взяли первое вхождение.

Получили:

Бизнес-литература / История экономических учений

 

Главная / Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория / 333 / История экономических учений / Капитал

     1>          1          2                3                        4        5                                                                                                       1                                1>

      

1>,1,3-5;1>,1

"3-5" - взять с третьего по пятое вхождение после пропущенного "1>"

Книги /  Бизнес-литература / 111 /  222 / История экономических учений

 

Главная / Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория / 333 / История экономических учений / Капитал

;>3,all

или no;>3,all

Главная / Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория /

 

Главная / Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория / 333 / История экономических учений / Капитал

1>,all;

или 1>,all;no

Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория / 333 / История экономических учений / Капитал

 

можно, конечно, для наглядности и так  указывать 2>(сначала или слева) и <3 (с конца или справа), но тут как кому удобно будет.

 

в коде будет два одинаковых блока обработки в первом слева на право, во втором справа на лево (в обратном порядке). 

по идее не сложная реализация.

получилось бы более универсально и стандартно, т.к. люди по другим программам привыкли разделять значения через "," , а диапазон указывать через "-", ну а разделитель часто указывают как ";".

 

[Rassol2]

@stas2010 Да этого реализовывать не буду по 2 причинам. 
1. Это слишком сложно.
2. В моей практике парсинга не было необходимости в таких решение. То есть я не знаю случая когда действительно такое нужно. 
3. Вы же не забывайте что количество категорий в хлебных крошках может быть 5 а может 3, и если об этом подумать то вся ваша схема рухнет под собственным весом. 
Потому что если вы не знаете заведомо количество позиций в хлебных крошках тогда правило которая что то отступает потом берет. И сново отступает будет выдавать совершенно непредсказуемые результаты. 

Ну а по сути. Я не знаю таких случаем где без этого не обойтись. И где это бы отрабатывало 80% предсказуемо. Может меня еше поправят. Но на данный момент так. 

 

[Rassol2]

Решил записать пилотную серию "Как я покорял ютуб."
Ну или как собираются ссылки в модуле SimplePars 

Серия пилотная, так что если уж совсем уныло вышло. Значит перезапишу.

 

[Rassol2]

Обновление 2.2-4_Beta-1
 

Из за многочисленных опросов по пред просмотру парсинга в интернет магазин, собрал кучу вещей которые нужно переделать.  
Но главный тезис был отсутствие понимания в исправлении границ.
Поскольку пред просмотр иллюстрирует страницу товара но не дает четкой информации по каждому полю которое вы выбрали. 
Для решения это проблемы добавил снизу отладочную информацию. 

Допустим раньше если вы неправильно настроили границу фото вы наблюдали вот такое шоу. 

Не понятно что настроено не так и что нужно исправлять. Я понимаю что проблема с пред просмотром находится глубже но хотя бы как временное решение отладочная информация сможет вам помочь.

Как она выглядит в данном случаи.


В данном случаи мы хотя бы видим что попало в поле границы на фото и можем делать выводы куда идти и что править. Толи придумать правило поиск замену.
Толи перенастроить границу парсинга. 

Ну и во всей красе как это будет выглядеть когда все настроено и все работает.


Даже не буду писать кто просил, потому что по поводу этой странице мне только ленивый не писал. 
Согласен есть над чем работать, и буду.
Но как временное решение думаю зайдет на ура. 

PS. Ну мы же понимаем нету ничего более постоянного чем временное  

[SLASH]

Возможно ли создать в прайсе колонку с произвольным атрибутом? Допустим нужно добавить ко всем товарам что то свое?

[Rassol2]

Только что, SLASH сказал:

Возможно ли создать в прайсе колонку с произвольным атрибутом? Допустим нужно добавить ко всем товарам что то свое?

На данный момент нет. 
Сейчас в колонку можно добавлять только границу парсинга.

Уже готовлю новую концепцию страницы парсинга в прайс 
буде работать по принцепу парсинга в ИМ 
Как вот это поле 
http://joxi.ru/MAjovdYfjd5VVr

тогда будет доступна такая гибкость как вы хотите. 

[Rassol2]

ВНИМАНИЕ!!! С 22.02.2019 по 20.05.2019 я в командировке и у меня будет ограниченный онлайн.

Отвечаю на сообщение по мере возможности. 
Если вам нужна срочна техническая поддержка, просьба воздержатся от покупки модуля в этот период.  

[Zetx]

Добрый день!
скажите, кто использует данный модуль, можно ли ним парсить из закрытых персональных кабинетов для дилеров? тоесть чтоб попасть в каталог товаров, сначала нужно ввести логин и пароль, а карточки товара появляются при клике в всплывающем окне

Змінено 29 квітня 2019 користувачем Zetx