Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

Обновление 2.2-1_Beta-1

 

Доработал сбор ссылок.
Доработал распознавание кодировки сайта.

 

5 часов назад, Axelenz сказал:

В последней версии почти вся выдача ссылок типа:

https://site.com.ua//site.com.ua/


@Axelenz  - как вы написали что программы парсят с дублями. Я доработал модуль, проверьте и отпишитесь.  
А то аж интересно смог ли разгадать все и доработать :rolleyes:

Ссылка на комментарий
Поделиться на других сайтах

Спасибо за настройки.

Не понял, куда вставлять ссылку на категорию, которую хочу спарсить.

На счет атрибутов. Если разделить атрибуты по разным ячейкам, то будет получаться постоянно разное количество колонок, поскольку атрибутов бывает разное количество. Раньше я грузил с прайса, где у каждого атрибута своя колонка с названием, а колонки отсортованы по названию, поэтому  любая колонка, не зависимо есть у нее значение или она пустая стояла на своем месте. Если она пустая, при загрузке через АОП, этот атрибут не создавался. Тут я вижу, что атрибуты нужно грузить как одно значение, чтобы не изменилось количество колонок.

 

Ссылка на комментарий
Поделиться на других сайтах


10 часов назад, Rassol2 сказал:

Обновление 2.2-1_Beta-1

 

Доработал сбор ссылок.
Доработал распознавание кодировки сайта.

 


@Axelenz  - как вы написали что программы парсят с дублями. Я доработал модуль, проверьте и отпишитесь.  
А то аж интересно смог ли разгадать все и доработать :rolleyes:

 

Благодарю, теперь парсится !

Ссылка на комментарий
Поделиться на других сайтах


Спасибо за настройки.
Не понял, куда вставлять ссылку на категорию, которую хочу спарсить.
На счет атрибутов. Если разделить атрибуты по разным ячейкам, то будет получаться постоянно разное количество колонок, поскольку атрибутов бывает разное количество. Раньше я грузил с прайса, где у каждого атрибута своя колонка с названием, а колонки отсортованы по названию, поэтому  любая колонка, не зависимо есть у нее значение или она пустая стояла на своем месте. Если она пустая, при загрузке через АОП, этот атрибут не создавался. Тут я вижу, что атрибуты нужно грузить как одно значение, чтобы не изменилось количество колонок.
 
Можете настроить на каждый атрибут отдельную границу парсингу. И указать ее в прайсе и будет так же как вы работали ранее.

Отправлено с моего Pixel через Tapatalk

Ссылка на комментарий
Поделиться на других сайтах

 
Благодарю, теперь парсится !
Рад что все работает хорошо.

Отправлено с моего Pixel через Tapatalk

Ссылка на комментарий
Поделиться на других сайтах

Вставляю ссылку на категорию, которую хочу спарсить в стартовую ссылку, пишет "сканирование завершено" , но в выдаче ссылок пусто.

Подскажите, как правильно это сделать? Почему нужно парсить в моем случае именно мобильную версию?

Ссылка на комментарий
Поделиться на других сайтах


1 минуту назад, SLASH сказал:

Вставляю ссылку на категорию, которую хочу спарсить в стартовую ссылку, пишет "сканирование завершено" , но в выдаче ссылок пусто.

Подскажите, как правильно это сделать? Почему нужно парсить в моем случае именно мобильную версию?

странно это как то, сегодня второе подобное сообщение. 
Можете написать в ЛС логин и пароль от админки хочу посмотреть что же это такое.
И ссылку которую вы вставляете в стартовую. 

У себя такой баг воспроизвести не получается. 

Ссылка на комментарий
Поделиться на других сайтах

После добавления стартовой ссылки незабываем нажимать сохранить. 
Перед тем как приступить к сбору ссылок. 

Ссылка на комментарий
Поделиться на других сайтах

Появились новые проблемы.

1. Это то, что оптовые цены показываются только залогиненным.

2. Если мне надо выбрать из каталога только товары, например, с сезонностью "лето", то я ставлю на сайте галку в фильтре и получаю в полной версии сайта url типа 

https://gepur.com/catalog/platya-midi?filters=season:leto

в мобильной версии url с фильтром ничем не отличается от url без фильтра

https://m.gepur.com/catalog/platya-midi, хотя товары выводятся те же..

Тут что-то можно придумать?

Ссылка на комментарий
Поделиться на других сайтах


3 часа назад, SLASH сказал:

 

2. Если мне надо выбрать из каталога только товары, например, с сезонностью "лето", то я ставлю на сайте галку в фильтре и получаю в полной версии сайта url типа 

https://gepur.com/catalog/platya-midi?filters=season:leto

в мобильной версии url с фильтром ничем не отличается от url без фильтра

https://m.gepur.com/catalog/platya-midi, хотя товары выводятся те же..

Тут что-то можно придумать?

 

Можно собрать на обычный сайт ссылки 
затем просто добавить в начало m. через эксель или в любой границе поиск замена в поле для тестирования

копируете туда ссылки и поиск замена на https:// заменить на https://m. и нажать на преобразовать в поле Текст после обработки получите ссылки с m. 
Скопируете их в поле выдачи нажмете сохранить. 

Вот так можно получить и с фильтрами, и на моб версию. 
 

Цитата

1. Это то, что оптовые цены показываются только залогиненным.

Парсинг с авторизацией еше не сделал, так что это пока не возможно.
Но если авторизация по кукам работает. Можете в браузере залогиниться в с воем. А в модуль скопировать куки. И модуль будет парсить как авторизованный. 
Для этого открываете файл /admin/model/catalog/simplepars.php ищите в коде строку 

#curl_setopt($ch, CURLOPT_COOKIE , "");
Убираете в решётку в начале и между кавычек записываете код из куково браузера. получится примерно так.
curl_setopt($ch, CURLOPT_COOKIE , "PHPSESSID=25777452953829311697cae9fd2989b0");
И модуль будет притворятся вашим браузером. 

 

Пока так можно сделать. 
 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Обновление. 2.2-3_Beta-1
 

Исправлен пред просмотр парсинга в CSV теперь в нем выводятся теги html что бы вы видели какой текст попадет в конечный прайс.
968be0e6b5.thumb.png.fb227226bcdf1bfc7bd795e32ccaad50.png

Так же добавлена подсветка в поиск замену границу родителя.

Что бы можно было видеть внутри какой границы крутится повторяющаяся граница. И можно было поправить правила для родительской границы. 

Выбранная граница подсвечена зеленым. А граница родитель желтым (или оранжевым кто как видит. )fc5425ef74.thumb.png.30e0287f542d819d35bc98ab60d2e3be.png
 

Ссылка на комментарий
Поделиться на других сайтах

И опять же из раздела хотелок...

 

Иногда при парсинге бывает нужно, например, с "хлебных крошек" выдернуть всего лишь одно или несколько значений, а не все. Они могут использоваться не только в качестве категории... Может в "Повторяющихся границах парсинга", после "Пропустить вхождения" добавить окошко, где можно было бы задать конкретное число, сколько спарсить "крошек" после пропуска ? В моей задаче, например, на сайте была вложенность - 6 "крошек", с которые реально мне нужно было 1-2. Понятно, что всё это возможно сделать и в Excel, но всё же...

Ссылка на комментарий
Поделиться на других сайтах


5 минут назад, Axelenz сказал:

И опять же из раздела хотелок...

 

Иногда при парсинге бывает нужно, например, с "хлебных крошек" выдернуть всего лишь одно или несколько значений, а не все. Они могут использоваться не только в качестве категории... Может в "Повторяющихся границах парсинга", после "Пропустить вхождения" добавить окошко, где можно было бы задать конкретное число, сколько спарсить "крошек" после пропуска ? В моей задаче, например, на сайте была вложенность - 6 "крошек", с которые реально мне нужно было 1-2. Понятно, что всё это возможно сделать и в Excel, но всё же...

дак уже реализовано. :)

Опишите конкретно пример с крошками. 

Сейчас можно в повторяющихся граница парсинга сделать следующее.

1. Пропустить вхождение от начала.

2. Пропустить вхождение с конца. 

3. Пропустить вхождение от начала и от конца одновременно.
4. Пропустить от начала любое количество вхождений и взять после этого определенное количество вхождений.
5. Пропустить с конца несколько вхождений и после этого взять любое количество вхождение.
6. Как вишенка на торте вывести повторяющиеся границы в обратном порядке. 

Напишите здесь ваш пример и я отпишу как сделать, если это возможно. Так что бы и остальные это увидели. 

Ссылка на комментарий
Поделиться на других сайтах

<ul>
<li class="home" itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/"><span itemprop="title"></span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_bikes.htm"><span itemprop="title">Велосипеды</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/"><span itemprop="title">Велосипеды Intenzo</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_cross_country.htm"><span itemprop="title">Горные велосипеды</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/filter=biketype:mountain/"><span itemprop="title">Горные велосипеды Intenzo</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><span itemprop="title">Велосипед Intenzo Dakar 26"</span></li>
</ul>

Нужны "Горные велосипеды", например.

Ссылка на комментарий
Поделиться на других сайтах


1 час назад, Axelenz сказал:

<ul>
<li class="home" itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/"><span itemprop="title"></span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_bikes.htm"><span itemprop="title">Велосипеды</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/"><span itemprop="title">Велосипеды Intenzo</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/dir_cross_country.htm"><span itemprop="title">Горные велосипеды</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><a itemprop="url" href="//veliki.com.ua/bikes/brand=Intenzo/filter=biketype:mountain/"><span itemprop="title">Горные велосипеды Intenzo</span></a></li>
<li itemscope itemtype="http://data-vocabulary.org/Breadcrumb"><span itemprop="title">Велосипед Intenzo Dakar 26"</span></li>
</ul>

Нужны "Горные велосипеды", например.

 

Вот так это решается
429bae29ea.png.c675c9518b765122d15561b70fc09719.png

 

3-1 звучит как 

Первые 3 вхождения пропустить, после взять 1. Остальное пропустить. 

Ссылка на комментарий
Поделиться на других сайтах

23 минуты назад, Rassol2 сказал:

 

Вот так это решается
429bae29ea.png.c675c9518b765122d15561b70fc09719.png

 

3-1 звучит как 

Первые 3 вхождения пропустить, после взять 1. Остальное пропустить

 

Оригинально... благодарю.

Тогда и окошко может лучше подписать соответственно: "Пропустить вхождения [-взять]"

Ссылка на комментарий
Поделиться на других сайтах


3 минуты назад, Axelenz сказал:

 

Оригинально... благодарю.

Тогда и окошко может лучше подписать соответственно: "Пропустить вхождения [-взять]"

нет потому что там сильно много функционала подвязано. И все отталкивается от пропуска. 

Если будет

Пропуск вхождение = 3-1
Где пропускать С начала и с конца. 

то это уже трактуется по иному.

3-1 - Звучит как : Пропустить первые 3 вхождения затем берем все кроме 1 последнего.
Эта цена которую придется заплатить за универсальность. 
Не выйдет придумать одно название на все случаи жизни, как и не стоит делать много кнопок и полей для разных вариантов. 


Луче уже заполонить что через тире это первый пропуск второе значение количество нужных элементов.
КРОМЕ варианта С начала и конца только здесь это не диапазон а пропуск с разных краёв. 

Ссылка на комментарий
Поделиться на других сайтах

Предлагал автору реализовать такой универсальный вариант, но не принял :(

тогда бы можно было бы убрать выбор трех вариантов в форме и просто в одной строке всё описать:

 

Главная / Книги / Бизнес-литература / Экономика. Экономическая теория / История экономических учений / Капитал

2>,1;1>,1

2> - пропустили 2 вхождения с начала. далее начинаем считать от пропущенного.

1 - взяли одно вхождение после пропущенного

; - разделитель "взять сначала";"взять с конца"

1> - пропустили с конца одно

1 - взяли первое вхождение.

Получили:

Бизнес-литература / История экономических учений

 

Главная / Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория / 333 / История экономических учений / Капитал

     1>          1          2                3                        4        5                                                                                                       1                                1>

      

1>,1,3-5;1>,1

"3-5" - взять с третьего по пятое вхождение после пропущенного "1>"

Книги /  Бизнес-литература / 111 /  222 / История экономических учений

 

Главная / Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория / 333 / История экономических учений / Капитал

;>3,all

или no;>3,all

Главная / Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория /

 

Главная / Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория / 333 / История экономических учений / Капитал

1>,all;

или 1>,all;no

Книги / 000 / Бизнес-литература / 111 /  222 / Экономика. Экономическая теория / 333 / История экономических учений / Капитал

 

можно, конечно, для наглядности и так  указывать 2>(сначала или слева) и <3 (с конца или справа), но тут как кому удобно будет.

 

в коде будет два одинаковых блока обработки в первом слева на право, во втором справа на лево (в обратном порядке). 

по идее не сложная реализация.

получилось бы более универсально и стандартно, т.к. люди по другим программам привыкли разделять значения через "," , а диапазон указывать через "-", ну а разделитель часто указывают как ";".

 

Ссылка на комментарий
Поделиться на других сайтах


@stas2010 Да этого реализовывать не буду по 2 причинам. 
1. Это слишком сложно.
2. В моей практике парсинга не было необходимости в таких решение. То есть я не знаю случая когда действительно такое нужно. 
3. Вы же не забывайте что количество категорий в хлебных крошках может быть 5 а может 3, и если об этом подумать то вся ваша схема рухнет под собственным весом. 
Потому что если вы не знаете заведомо количество позиций в хлебных крошках тогда правило которая что то отступает потом берет. И сново отступает будет выдавать совершенно непредсказуемые результаты. 

Ну а по сути. Я не знаю таких случаем где без этого не обойтись. И где это бы отрабатывало 80% предсказуемо. Может меня еше поправят. Но на данный момент так. 

 

Ссылка на комментарий
Поделиться на других сайтах

Решил записать пилотную серию "Как я покорял ютуб."
Ну или как собираются ссылки в модуле SimplePars 

Серия пилотная, так что если уж совсем уныло вышло. Значит перезапишу.

 

Ссылка на комментарий
Поделиться на других сайтах

Обновление 2.2-4_Beta-1
 

Из за многочисленных опросов по пред просмотру парсинга в интернет магазин, собрал кучу вещей которые нужно переделать.  
Но главный тезис был отсутствие понимания в исправлении границ.
Поскольку пред просмотр иллюстрирует страницу товара но не дает четкой информации по каждому полю которое вы выбрали. 
Для решения это проблемы добавил снизу отладочную информацию. 

Допустим раньше если вы неправильно настроили границу фото вы наблюдали вот такое шоу. 

joxi_screenshot_1555817469401.thumb.png.ddb3edfc3beaccb508b07d54136243b4.png

Не понятно что настроено не так и что нужно исправлять. Я понимаю что проблема с пред просмотром находится глубже но хотя бы как временное решение отладочная информация сможет вам помочь.


Как она выглядит в данном случаи.
joxi_screenshot_1555817856933.thumb.png.b4fe00199c3bff698eb4f6cba33aeffe.png

В данном случаи мы хотя бы видим что попало в поле границы на фото и можем делать выводы куда идти и что править. Толи придумать правило поиск замену.
Толи перенастроить границу парсинга. 

Ну и во всей красе как это будет выглядеть когда все настроено и все работает.
joxi_screenshot_1555816775747.thumb.png.8e18ee75ebf42ee7d4d717a82ea3ca6c.png

Даже не буду писать кто просил, потому что по поводу этой странице мне только ленивый не писал. 
Согласен есть над чем работать, и буду.
Но как временное решение думаю зайдет на ура. 

PS. Ну мы же понимаем нету ничего более постоянного чем временное :) 

  • +1 4
Ссылка на комментарий
Поделиться на других сайтах

Возможно ли создать в прайсе колонку с произвольным атрибутом? Допустим нужно добавить ко всем товарам что то свое?

Ссылка на комментарий
Поделиться на других сайтах


Только что, SLASH сказал:

Возможно ли создать в прайсе колонку с произвольным атрибутом? Допустим нужно добавить ко всем товарам что то свое?

На данный момент нет. 
Сейчас в колонку можно добавлять только границу парсинга.

Уже готовлю новую концепцию страницы парсинга в прайс 
буде работать по принцепу парсинга в ИМ 
Как вот это поле 
http://joxi.ru/MAjovdYfjd5VVr

тогда будет доступна такая гибкость как вы хотите. 

Ссылка на комментарий
Поделиться на других сайтах

ВНИМАНИЕ!!! С 22.02.2019 по 20.05.2019 я в командировке и у меня будет ограниченный онлайн.

Отвечаю на сообщение по мере возможности. 
Если вам нужна срочна техническая поддержка, просьба воздержатся от покупки модуля в этот период.  

Ссылка на комментарий
Поделиться на других сайтах

Добрый день!
скажите, кто использует данный модуль, можно ли ним парсить из закрытых персональных кабинетов для дилеров? тоесть чтоб попасть в каталог товаров, сначала нужно ввести логин и пароль, а карточки товара появляются при клике в всплывающем окне

ск1.PNG

Изменено пользователем Zetx
Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.