Jump to content

Recommended Posts

Вот такой вид в окне фото говорит о том что вы не смогли настроить парсинг фото. 
http://joxi.ru/MAjovdYfjdXJjr

Либо неправильно настроен и нужно перепроверять. 

Share this post


Link to post
Share on other sites

Обновление 2.2-Beta-1
 

По классике жанра исправления мелких ошибок. Крупные пока что не сообщали :) 
Так же исправлена ошибка о каторой сообщил чуть выше 
@hippvik

И новые возможности !
Много кто просил добавить возможность пропустить определенную границу парсинга, или сделать возможным парсинга значения включая теги. 
Я собрал все пожелания + свои мысли по этому поводу, и сделал самую гибкую систему выбора параметров. :cool:
Универсальность стала выше чем у всех знакомых мне программ по парсингу. Конечно мне хвастливости не занимать. Но если я не прав обязательно отпишитесь буду изучать и будет куда стремится. 

 

Я знаю что многие не дочитают до конца. Но в конце я приложу файл с настройками и с ссылкой на тестовую страницу и всеми настройками что я сделал.
Что бы вы могли загрузить настройки и быстро поиграться с переключателями. У вас будут готовые параметры, и
тестовая площадка для экспериментов
Все для вас :oops:


Собственно к делу. Новые возможности 
1.thumb.png.1c0f39501201cf1e4c2bef4142ea49cb.png

 

Для демонстрации новых возможностей пришлось создать тестовую страницу, потому что собрать воедино все сложные случаи довольно сложно.
Наша тестовая площадка, надеюсь вы сможете все примеры понять и использовать в ваших проектах.

Спойлер

2.thumb.png.18ed8e0db435ac6a6b568a6a896b09d5.png

 


Ну начнем с простого и по нарастанию. 

Парсить с границами

 

 

Здесь все просто, раньше все парсилось без границ, теперь если возможность с границами. 
Без границ
3.thumb.png.a59e6ac74e7ad9cc0d2d0c4256f28a84.png

С границами

4.thumb.png.6150d6dd0ed810a1078c35a50d3d4817.png

 

Здесь все просто. 
Вы просили @Axelenz мы сделали :) 

 

Пропустить вхождения

Допустим у вам нужно использовать обычную границу парсинга, но зацепится за уникальное значение вы не можете. Его просто нет.
Как в моем примере нужно достать слово артикулу из кода. 

<name>Название товара</name>
<art>Код товара</art>
<art>Артикул</art>
<cat>Говная</cat>

Сколько вхождений в странице не учитывать. Допустим в нашем случаи теги для парсинга артикула будут 

<art> начало

</art> конец 
Если просто задать без пропуска вы получите первое попавшееся значение на странице. То есть слово Код товара, а ведь нам нужно слово Артикул 
Указываем в пропуск вхождение 1, то есть пропустить первое вхождение. И получаем 

5-2.thumb.png.e45709195b856a6bde9642ab037ce733.png

 

Так же добавил переключатель откуда считать пропуски. С начала страницы или с конца. 
Если меняем на конец тогда модуль будет парсить эту границу с конца страницы, и пропустит первое вхождение с конца , а значит получит слово Код товара
 

Аналогично работает с повторяющими границами парсинга.
Иногда бывает что вам нужно парсить категории, но категории начинаются с слова Главная, и это слово вам не хочется парсить. Или бывает что в хлебных крошках последняя слово это имя товара. И вам не хочется парсить и создавать под каждый товар категорию. Это мягко говоря бред.
И теперь вы можете отбрасывать любую часть от начала, и от конца.

 

<cat>Говная</cat>
<cat>Каталог</cat>
<cat>Категория родительская</cat>
<cat>Категория дочерняя</cat>
<cat>Категория дочерняя</cat>
<cat>Категория и имя</cat>

Вот вы хотите спарсить категории и вам нужно откинуть первые два вхождения.
7.thumb.png.8ef08d7a9cef1b624c9181a69dc1f26e.png

 

Или вам нужно откинуть последнее вхождение.
8.thumb.png.dc2832a4d03ce582eff4c795999ea9ab.png

 

Этих возможностей хватит всем, думаю 99.8%

Но если вы самый отчаянный и входите в оставшиеся 0.2% Смотрите под спойлер.
Людям кто общается с компьютерами на вы не рекомендую, потому что не пригодится только зря голову забьете и вам покажется что все сложно. 


 

Спойлер

 

Привет хакер :cool:

Суть такая, что бы полностью закрыть вопрос с выбором данных я решил пойди дальше и добавить диапазоны. 
Диапазоны работаю только с повторяющимися границами. Зададите по ошибке в обычно границе, модуль взмет только первое число и будет работать как с обычным пропуском. 

Поскольку модуль не знает на какой странице сколько будет вхождений логика будет следующая. 
Допустим нам нужно в нашем примере пропустить первые два вхождения, и после него взять 3


<cat>Говная</cat>
<cat>Каталог</cat>
<cat>Категория родительская</cat>
<cat>Категория дочерняя</cat>
<cat>Категория дочерняя</cat>
<cat>Категория и имя</cat>


Задаем - 2-3
Результат

9.thumb.png.b68773d51597c5b7eae092f26744c55b.png

 

По классике жанра можно переключить отсчет с конца и модуль в обратном порядке посчитает, и вы получите. 

 


!===================================================================== Повторение №1 =====================================================================!
 
Каталог
 
!===================================================================== Повторение №2 =====================================================================!
 
Категория родительская
 
!===================================================================== Повторение №3 =====================================================================!
 
Категория дочерняя
 
!===================================================================== Повторение №4 =====================================================================!
 


Главное что вам нужно понять
 

 2-3 Первая цифра это сколько вхождений ПРОПУСТИТЬ, а второе сколько границ парсинга после этого ВЗЯТЬ!

То есть на наш человеческий 2-3 переводится так. Первые два совпадения пропускаешь, а после этого следующие три береш! 
Если пропускаешь больше чем есть всего, значит граница будет пустая. 
Если береш больше чем есть тогда модуль заберет все что может, а чего нет того нет 8-)

 

Возвращаемся ко всем 

 



Порядок вывода
 

Посвящается всем владельцам АОП. и в частности @timon2511

Допустим вам нужно спарсить в эксель категории, так что бы можно было через модуль АОП создать категории.
Но как это сделать если категории в магазине идут по порядку от старшей к младшей. А модуль АОП строит структуру задом наперед, от младшей к старшей. 
Теперь есть переключатель в повторяющихся границах. Можно выводить повторяющую границу задом наперед. 

Пример.

Входные данные. Кусок кода.
 

<cat>Говная</cat>
<cat>Каталог</cat>
<cat>Категория родительская</cat>
<cat>Категория дочерняя 1</cat>
<cat>Категория дочерняя 2</cat>
<cat>Категория и имя</cat>

Нам нужно получить только настоящее категории, без лишних примесей.
Настраиваем диапазон, о котором я говорил под спойлером 10.thumb.png.5d55a0b77689ccf8db2b21ffd83d9d5f.png:) 
 

Но для АОП этого мало. Теперь переключаем порядок вывода с нормального на обратный

И вот результат

.11.thumb.png.9695798d089950383926e55ec57bd882.png
 


Теперь ненужно парится с категориями. Теперь можно сразу делать прайсы с нужными вам категориями. :eek:

Прайс вот такого типа можно составить. (Можно и круче но я применил только то над чем работал сегодня )
12.thumb.png.4a40a5c1779b1342dac2d0491770fdf2.png


Конец.

не забываем при обновлении выполнять /inst.php

Как и обещал прикладываю настройки что бы вы могли обкатать все возможности на тестовой площадке. 
SPsetting-testing.json

 

Жду ваши отзывы, замечания, благодарности и оскорбления тоже :oops: !!!

Спойлер

 

Косяк форума не могу удалять этот скриншот. Не обращайте внимание. 

6.png

 

 

  • +1 5

Share this post


Link to post
Share on other sites
25 минут назад, Rassol2 сказал:

Обновление 2.2-Beta-1
 

По классике жанра исправления мелких ошибок. Крупные пока что не сообщали :) 
Так же исправлена ошибка о каторой сообщил чуть выше 
@hippvik

И новые возможности !
Много кто просил добавить возможность пропустить определенную границу парсинга, или сделать возможным парсинга значения включая теги. 
Я собрал все пожелания + свои мысли по этому поводу, и сделал самую гибкую систему выбора параметров. :cool:
Универсальность стала выше чем у всех знакомых мне программ по парсингу. Конечно мне хвастливости не занимать. Но если я не прав обязательно отпишитесь буду изучать и будет куда стремится. 

 

Я знаю что многие не дочитают до конца. Но в конце я приложу файл с настройками и с ссылкой на тестовую страницу и всеми настройками что я сделал.
Что бы вы могли загрузить настройки и быстро поиграться с переключателями. У вас будут готовые параметры, и
тестовая площадка для экспериментов
Все для вас :oops:


Собственно к делу. Новые возможности 
1.thumb.png.1c0f39501201cf1e4c2bef4142ea49cb.png

 

Для демонстрации новых возможностей пришлось создать тестовую страницу, потому что собрать воедино все сложные случаи довольно сложно.
Наша тестовая площадка, надеюсь вы сможете все примеры понять и использовать в ваших проектах.

  Показать контент

2.thumb.png.18ed8e0db435ac6a6b568a6a896b09d5.png

 


Ну начнем с простого и по нарастанию. 

Парсить с границами

 

 

Здесь все просто, раньше все парсилось без границ, теперь если возможность с границами. 
Без границ
3.thumb.png.a59e6ac74e7ad9cc0d2d0c4256f28a84.png

С границами

4.thumb.png.6150d6dd0ed810a1078c35a50d3d4817.png

 

Здесь все просто. 
Вы просили @Axelenz мы сделали :) 

 

Пропустить вхождения

Допустим у вам нужно использовать обычную границу парсинга, но зацепится за уникальное значение вы не можете. Его просто нет.
Как в моем примере нужно достать слово артикулу из кода. 


<name>Название товара</name>
<art>Код товара</art>
<art>Артикул</art>
<cat>Говная</cat>

Сколько вхождений в странице не учитывать. Допустим в нашем случаи теги для парсинга артикула будут 

<art> начало

</art> конец 
Если просто задать без пропуска вы получите первое попавшееся значение на странице. То есть слово Код товара, а ведь нам нужно слово Артикул 
Указываем в пропуск вхождение 1, то есть пропустить первое вхождение. И получаем 

5-2.thumb.png.e45709195b856a6bde9642ab037ce733.png

 

Так же добавил переключатель откуда считать пропуски. С начала страницы или с конца. 
Если меняем на конец тогда модуль будет парсить эту границу с конца страницы, и пропустит первое вхождение с конца , а значит получит слово Код товара
 

Аналогично работает с повторяющими границами парсинга.
Иногда бывает что вам нужно парсить категории, но категории начинаются с слова Главная, и это слово вам не хочется парсить. Или бывает что в хлебных крошках последняя слово это имя товара. И вам не хочется парсить и создавать под каждый товар категорию. Это мягко говоря бред.
И теперь вы можете отбрасывать любую часть от начала, и от конца.

 


<cat>Говная</cat>
<cat>Каталог</cat>
<cat>Категория родительская</cat>
<cat>Категория дочерняя</cat>
<cat>Категория дочерняя</cat>
<cat>Категория и имя</cat>

Вот вы хотите спарсить категории и вам нужно откинуть первые два вхождения.
7.thumb.png.8ef08d7a9cef1b624c9181a69dc1f26e.png

 

Или вам нужно откинуть последнее вхождение.
8.thumb.png.dc2832a4d03ce582eff4c795999ea9ab.png

 

Этих возможностей хватит всем, думаю 99.8%

Но если вы самый отчаянный и входите в оставшиеся 0.2% Смотрите под спойлер.
Людям кто общается с компьютерами на вы не рекомендую, потому что не пригодится только зря голову забьете и вам покажется что все сложно. 


 

  Скрыть контент

 

Привет хакер :cool:

Суть такая, что бы полностью закрыть вопрос с выбором данных я решил пойди дальше и добавить диапазоны. 
Диапазоны работаю только с повторяющимися границами. Зададите по ошибке в обычно границе, модуль взмет только первое число и будет работать как с обычным пропуском. 

Поскольку модуль не знает на какой странице сколько будет вхождений логика будет следующая. 
Допустим нам нужно в нашем примере пропустить первые два вхождения, и после него взять 3



<cat>Говная</cat>
<cat>Каталог</cat>
<cat>Категория родительская</cat>
<cat>Категория дочерняя</cat>
<cat>Категория дочерняя</cat>
<cat>Категория и имя</cat>


Задаем - 2-3
Результат

9.thumb.png.b68773d51597c5b7eae092f26744c55b.png

 

По классике жанра можно переключить отсчет с конца и модуль в обратном порядке посчитает, и вы получите. 

 



!===================================================================== Повторение №1 =====================================================================!
 
Каталог
 
!===================================================================== Повторение №2 =====================================================================!
 
Категория родительская
 
!===================================================================== Повторение №3 =====================================================================!
 
Категория дочерняя
 
!===================================================================== Повторение №4 =====================================================================!
 


Главное что вам нужно понять
 

 2-3 Первая цифра это сколько вхождений ПРОПУСТИТЬ, а второе сколько границ парсинга после этого ВЗЯТЬ!

То есть на наш человеческий 2-3 переводится так. Первые два совпадения пропускаешь, а после этого следующие три береш! 
Если пропускаешь больше чем есть всего, значит граница будет пустая. 
Если береш больше чем есть тогда модуль заберет все что может, а чего нет того нет 8-)

 

Возвращаемся ко всем 

 



Порядок вывода
 

Посвящается всем владельцам АОП. и в частности @timon2511

Допустим вам нужно спарсить в эксель категории, так что бы можно было через модуль АОП создать категории.
Но как это сделать если категории в магазине идут по порядку от старшей к младшей. А модуль АОП строит структуру задом наперед, от младшей к старшей. 
Теперь есть переключатель в повторяющихся границах. Можно выводить повторяющую границу задом наперед. 

Пример.

Входные данные. Кусок кода.
 


<cat>Говная</cat>
<cat>Каталог</cat>
<cat>Категория родительская</cat>
<cat>Категория дочерняя 1</cat>
<cat>Категория дочерняя 2</cat>
<cat>Категория и имя</cat>

Нам нужно получить только настоящее категории, без лишних примесей.
Настраиваем диапазон, о котором я говорил под спойлером 10.thumb.png.5d55a0b77689ccf8db2b21ffd83d9d5f.png:) 
 

Но для АОП этого мало. Теперь переключаем порядок вывода с нормального на обратный

И вот результат

.11.thumb.png.9695798d089950383926e55ec57bd882.png
 


Теперь ненужно парится с категориями. Теперь можно сразу делать прайсы с нужными вам категориями. :eek:

Прайс вот такого типа можно составить. (Можно и круче но я применил только то над чем работал сегодня )
12.thumb.png.4a40a5c1779b1342dac2d0491770fdf2.png


Конец.

не забываем при обновлении выполнять /inst.php

Как и обещал прикладываю настройки что бы вы могли обкатать все возможности на тестовой площадке. 
SPsetting-testing.json

 

Жду ваши отзывы, замечания, благодарности и оскорбления тоже :oops: !!!

  Скрыть контент

 

Косяк форума не могу удалять этот скриншот. Не обращайте внимание. 

6.png

 

 

 

Лучше парсера пока что не видел, не в обиду даже MaxD (разработчику ParseMX), но данный парсер очень гибок в настройках и можно идеально настроить себе парс под каждого донора. То что автор данного парсера вкладывает душу в этот модуль, видно сразу, за это ему повторяю большую благодарность ! @Rassol2 , не видел на этом форуме еще разрабочтиков, которые вот так вот подходили к разработке, делали все для людей, представляли идеальную тех поддержку, прислушивались к советам клиентов и тестировщиков, делали грамотный мануал и все это в таком быстром режиме + как бонус цена Вашего модуля доступна любому. Большая Вам благодарность за Ваши труды!
 

А так же хотел у Вас уточнить, есть у меня оптовик, что бы у него на сайте отображались цены, кол-во, атрибуты - нужно авторизоваться для начала на сайте, как можно парсить такие сайты где требуется авторизация ?

  • +1 1

Share this post


Link to post
Share on other sites
1 минуту назад, Fimo сказал:

А так же хотел у Вас уточнить, есть у меня оптовик, что бы у него на сайте отображались цены, кол-во, атрибуты - нужно авторизоваться для начала на сайте, как можно парсить такие сайты где требуется авторизация ?

с авторизацией модуль пока не умеет работать. 

К ней перейду после добавления функций которые помогут парсить загружать и обновлять данные с любых xml фидов. 
По сути для авторизации если она работает на базе куков достаточно добавить одну строку. В код. И после авторизации вам нужно будет занести все значения куков в это струку. И модуль будет выдавать себя за авторизованного пользователя. 
Но пока что это костыль. А хочется с размахом сделать что бы кнопочки были и все было более менее удобно. 

  • +1 2

Share this post


Link to post
Share on other sites
5 минут назад, Fimo сказал:

+ как бонус цена

Да еше раз озвучу что бы все были в курсе.
Цена на модуль 300р установлена на период тестирования и обкаток.
После того как большую часть ошибок устраню тестовый период закрою и цена за модуль будет 1500р 

Все кто сейчас покупают по 300р больше платить не придется. Купил один раз пользуйся, качай обновление. 

Так же в будущем будет прикручена система лицензирования. Как у всех популярных модулей. 
Одна лицензия на домен. С возможность отключать модуль от одного сайта и подключать к другому. 


Но пока в приоритете выгнать и обкатать функционал. 

  • +1 3

Share this post


Link to post
Share on other sites
Цитата

Все кто сейчас покупают по 300р больше платить не придется. Купил один раз пользуйся, качай обновление. 

дед мороз :)

 

3 часа назад, Rassol2 сказал:

По сути для авторизации если она работает на базе куков достаточно добавить одну строку. В код. И после авторизации вам нужно будет занести все значения куков в это струку. И модуль будет выдавать себя за авторизованного пользователя. 
Но пока что это костыль. А хочется с размахом сделать что бы кнопочки были и все было более менее удобно. 

а можете поделиться костылем? в кратце -куда смотреть, что вставлять 

Share this post


Link to post
Share on other sites
Все кто сейчас покупают по 300р больше платить не придется. Купил один раз пользуйся, качай обновление. 
дед мороз
 
а можете поделиться костылем? в кратце -куда смотреть, что вставлять 
Вернусь поделюсь.

Отправлено с моего Pixel через Tapatalk

  • +1 1

Share this post


Link to post
Share on other sites
В 07.04.2019 в 18:42, mdbolgar сказал:

вопрос 
парсер собирает все ссылки с сайта?а если я хочу собрать ссылки с отдельной категории, он делает мне опять весь сайт донора?

Этот тапаталк кривой. 

Через пару часов скину. 

  • +1 1

Share this post


Link to post
Share on other sites
5 часов назад, Rassol2 сказал:

парсер собирает все ссылки с сайта?а если я хочу собрать ссылки с отдельной категории, он делает мне опять весь сайт донора?

предлагал уже автору - сделать уровень вложений ссылок, вроде так называлось...., чтобы парсер не выходил за определенные границы ссылок, например, 

мой.сайт/категория_1/категория_2/категория_3/ - тут ставим ограничение, чтобы парсер не переходил ниже категория_2 и не выходил за пределы домена, следовательно, будет собирать ссылки только из категори_2 и всех подкатегорий в категория_2. или задать ограничение, чтобы собирал только в категория_2 и игнорировал все ссылки, которые выходят за границу слева и справа. единственное, что тут надо учесть - это ссылки на картинки, видео и документы, которые могут располагаться в других категориях и на других доменах - их можно просто дополнительно как-то в списке указать.

  • +1 1

Share this post


Link to post
Share on other sites

Только что провел тест и экспорт импорт настроек в форме с 10 тысячами ссылок. 
Все успешно файл настроек весит 1.6мб 
Так что можно смело ставить по умолчанию экспорт формы вместе ссылками. :eek:

  • +1 1

Share this post


Link to post
Share on other sites
8 часов назад, stas2010 сказал:

предлагал уже автору - сделать уровень вложений ссылок, вроде так называлось...., чтобы парсер не выходил за определенные границы ссылок, например, 

мой.сайт/категория_1/категория_2/категория_3/ - тут ставим ограничение, чтобы парсер не переходил ниже категория_2 и не выходил за пределы домена, следовательно, будет собирать ссылки только из категори_2 и всех подкатегорий в категория_2. или задать ограничение, чтобы собирал только в категория_2 и игнорировал все ссылки, которые выходят за границу слева и справа. единственное, что тут надо учесть - это ссылки на картинки, видео и документы, которые могут располагаться в других категориях и на других доменах - их можно просто дополнительно как-то в списке указать.

буду думать над этим. Не уверен что такой вариант идеальный. 
Есть мысли подключить к сбору ссылок границы парсинга в документе. И сделать вариации поиск замены в ссылка.

В работе ссылками наверное это будет первое. Пока оставляю как есть собираю все хотелки затем буду тестировать и выводить универсальную формулу. 

  • +1 1

Share this post


Link to post
Share on other sites
В 11.04.2019 в 22:52, Fimo сказал:

<cat>Говная</cat> <cat>Каталог</cat> <cat>Категория родительская</cat> <cat>Категория дочерняя 1</cat> <cat>Категория дочерняя 2</cat> <cat>Категория и имя</cat>

чуть подправить бы на "Главная" :)

а как вырезать <cat>Говная</cat> и <cat>Категория и имя</cat> одновременно? т.е. надо первую с начала и последнюю с конца одновременно.

Share this post


Link to post
Share on other sites
2 часа назад, stas2010 сказал:

чуть подправить бы на "Главная" :)

Увидел когда уже нарезал скриншоты, поэтому уже не стал исправлять. 
 

 

2 часа назад, stas2010 сказал:

а как вырезать <cat>Говная</cat> и <cat>Категория и имя</cat> одновременно? т.е. надо первую с начала и последнюю с конца одновременно.

сейчас можно пропустить первую и взять определенное количество категорий после припушенной. Но в связи с частым вопросом уже начал делать метод когда можно одновременно отрезать. 

  • +1 1

Share this post


Link to post
Share on other sites
В 14.04.2019 в 15:53, Rassol2 сказал:

начал делать метод когда можно одновременно отрезать. 

да, очень надо, т.к. последнюю посчитать сначала не представляется возможным, т.к. почти всегда не известно количество вложений. 

тоже и с картинками часто необходимо, когда надо пропустить главную и не брать последнюю и/или какие-то в порядке.

  • +1 1

Share this post


Link to post
Share on other sites
1 минуту назад, stas2010 сказал:

да, очень надо, т.к. последнюю посчитать сначала не представляется возможным, т.к. почти всегда не известно количество вложений. 

тоже и с картинками часто необходимо, когда надо пропустить главную и не брать последнюю и/или какие-то в порядке.

если успею сегодня выложу вместе с фиксом исправлений ошибок. 
А исправлений уже не мало сделал. 

Share this post


Link to post
Share on other sites

сколько всего интересного произошло)) пробежал по страницам, надо попробовать до парсера добраться

Share this post


Link to post
Share on other sites
сколько всего интересного произошло)) пробежал по страницам, надо попробовать до парсера добраться
В версии 2 много нового. Пробуйте.

Отправлено с моего Pixel через Tapatalk

Share this post


Link to post
Share on other sites
Posted (edited)

Все привет! Купил данный модуль, пробую получить ссылки, ничего не срабатывает 

в логе нет ошибок

в консоли только ошибки на каждую обработку

Uncaught SyntaxError: Unexpected token < in JSON at position 0
    at JSON.parse (<anonymous>)
    at Function.n.parseJSON (VM9260 jquery-2.1.1.min.js:4)
    at Object.success (index.php?route=catalog/simplepars/grab&token=Xad0HmBD4Zm4xihcUyLb2bRsgaAFuLUP&dn_id=4:711)
    at j (VM9260 jquery-2.1.1.min.js:2)
    at Object.fireWith [as resolveWith] (VM9260 jquery-2.1.1.min.js:2)
    at x (VM9260 jquery-2.1.1.min.js:4)
    at XMLHttpRequest.<anonymous> (VM9260 jquery-2.1.1.min.js:4)

Edited by griman

Share this post


Link to post
Share on other sites
Все привет! Купил данный модуль, пробую получить ссылки, ничего не срабатывает 
в логе нет ошибок
в консоли только ошибки на каждую обработку
Uncaught SyntaxError: Unexpected token     at JSON.parse ()
    at Function.n.parseJSON (VM9260 jquery-2.1.1.min.js:4)
    at Object.success (index.php?route=catalog/simplepars/grab&token=Xad0HmBD4Zm4xihcUyLb2bRsgaAFuLUP&dn_id=4:711)
    at j (VM9260 jquery-2.1.1.min.js:2)
    at Object.fireWith [as resolveWith] (VM9260 jquery-2.1.1.min.js:2)
    at x (VM9260 jquery-2.1.1.min.js:4)
    at XMLHttpRequest. (VM9260 jquery-2.1.1.min.js:4)
Здравствуйте. Пришлите мне в ЛС файл настроек . Я проверю. Правда у меня света нет уже больше 9 часов. Но если что завтра найду где посидеть. А то у меня ещё релиз с исправлениями ошибок готов.

Отправлено с моего Pixel через Tapatalk

Share this post


Link to post
Share on other sites
4 часа назад, Rassol2 сказал:

Здравствуйте. Пришлите мне в ЛС файл настроек . Я проверю. Правда у меня света нет уже больше 9 часов. Но если что завтра найду где посидеть. А то у меня ещё релиз с исправлениями ошибок готов.

Отправлено с моего Pixel через Tapatalk
 

Добрый! В личку кинул файл

Share this post


Link to post
Share on other sites
7 часов назад, griman сказал:

Добрый! В личку кинул файл

Вы мне скинули пустую форму без каких либо настроек парсинга. :( 

Share this post


Link to post
Share on other sites

Обновление 2.2.1-Beta-1

Много исправлений всех не вспомню. Да и сейчас набегу все делаю. 
из последнего.

1. Исправления алгоритма работы с категориями. Старая версия создавала чрезмерную нагрузку на базу данных. Можно было заметить зависание при заходе на вкладку настройки парсинга в им.
2. Добавлено выравнивание текста к верхней границе в пред просмотре парсинга в прайс лист. 

3. Теперь по умолчанию когда делаете бекап настроек проекта, бекап делается вместе с ссылками. Проверенно 10 т ссылок на обычном хостинге нормально загружаются. 

Новые возможности 

Теперь можно отрезать значение и от конца и от начала повторяющей границе парсинга одновременно. Как вы и просили @stas2010
От начало и от конца работает только в повторяющих границах парсинга. 

Пример 

Исходные данные

<cat>Главная</cat>
<cat>Каталог</cat>
<cat>Категория родительская</cat>
<cat>Категория дочерняя 1</cat>
<cat>Категория дочерняя 2</cat>
<cat>Категория и имя</cat>

Хотим убрать только первые 2 вхождения. И только одно с конца. Все что по середине оставить.

Настройки

Появился третий пункт откуда отрезать. С начала и с конца
0b145f2c1c.thumb.png.fd3570ee2abfe8b357a10b874a44bbdc.png

Главное что бы вы не запутались. :???:
Потому что именно при выборе переключателя с начал и с конца. Вот такой формат 2-1 это НЕ ДИАПАЗОН
 

На наш человеческий 2-1 звучит как 
Пропустить первые 2 вхождение и взять все кроме последней 1 границы

Еше раз повторюсь, такая логика только в переключателе С начала и с конца. 
В остальных работает как диапазон. Об этом я писал в предыдущем посте. 

Вроде ничего не забыл. 

  • +1 3

Share this post


Link to post
Share on other sites

И да настройки для того что бы поиграться с тестовой площадкой прикладываю. 
SPsetting-testing.json

Создайте новый проект загрузите. Откройте вкладку настройки парсинга, выберите ссылку. Она есть в данном проекте. 
И жмите переключатели, и пред просмотр. И вы будете видит результат работы данной функции. 

Share this post


Link to post
Share on other sites
7 минут назад, Axelenz сказал:

В последней версии почти вся выдача ссылок типа:

https://site.com.ua//site.com.ua/

скиньте настройки посмотрю что с этим сайтом. 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By Rassol2
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
       
      ВНИМАНИЕ!!! С 22.02.2019 по 20.05.2019 я в командировке и у меня будет ограниченный онлайн.
      Отвечаю на сообщение по мере возможности. 
      Если вам нужна срочна техническая поддержка, просьба воздержатся от покупки модуля в этот период.  
       
      На данный момент модуль проходит период обкатки. Сейчас использования модуля на действующих проектах не рекомендуется. 
      Пока идет период тестирования модуль предназначен исключительно для энтузиастов.
       
      Документация к модулю разрабатывается. И доступна по ссылке - https://simplepars.top/index.php?page=doc

      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение интернет магазина.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в CSV файл для дальнейшей обработки. 
      Так же реализовано обновления товаров при помощи парсинга сайтов доноров. 

      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      1. Сбор ссылок на товары. Или на любые другие страницы сайта. Эти ссылки можно записать в таблицу csv. Либо использовать для наполнения вашего интернет магазина.
      2. Парсинг данных с сайта. Есть возможность парсить напрямую в интернет магазин, или же в файл csv. 
      3. Формировать прайс csv с данными что вы парсите. Так же прайсы можно формировать в готовом формате для загрузки через АОП. Или любого другого загрузчика прайс листов. 
      4. Заполнять интернет магазин новыми товарами.
      5. Обновлять товары, получать цены остатки с сайта донора. 

      При загрузке или обновлении товара, модуль поддерживает работу с :
      1) Кодом товара 
      2) Артикулом 
      3) Названием
      4) Ценой
      5) Количеством товара на складе
      6) Производителем
      7) Описанием
      8) Категориями
      9) Изображениями
      10) Атрибутами. 
      Так же поддерживается: Создание новых категорий, атрибутов, загрузка изображения по ссылке, создание производителей. И многое другое. 
       
      Основные страницы модуля.
       
      Сбор ссылок.

      На здесь вы можете настроить сбор ссылок на любой тип страниц на сайте поставщика, конкурента, или любого другого сайта.

      Настройка парсинга

      Основная страница по настройке парсинга. 
      Здесь вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      Универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парить статьи, отзывы, блоги.

       Парсинг в CSV таблицу


      На этой странице вы можете формировать прайс листы с данными что вы спарсили.
      Можно формировать прайс листы для загрузки их через популярные дополнения. 
      Такие как:
       Автоматическая обработка прайс листов. 
      CSV Price Pro import/export
      Так же формировать прайсы вы можете для любых других задач. К примеру для анализа цен, или остатков. 
       
      Символ разделителя.
      Экранирующий символ. 
      Эти настройки позволят вам формировать прайс пол любые задачи, и для пользователя любого офиса 
      К примеру: 
      Microsoft Office
      OpenOffice
      LibreOffice
      WPS Office

      Настройка парсинга в ИМ

      Одна из самых основных страниц. Здесь вы можете настраивать парсинг сайтов к вам в интернет магазин!
      Вы с легкостью можете заполнить ваш магазин категориями товарами, используя парсинг в Интернет магазин!
      Так же здесь вы можете как добавлять новые товары, так и обновлять существующие. 
      Здесь вы можете настроить обновления цены и остатков с сайта поставщика и всегда получать актуальные данные о вашем товаре. 
       
      Логи

       
      Вкладка логов позволяет вам прозрачно контролировать работу модуля. И обновления ваших товаров. 
       
       
      Остальные страницы вы можете увидеть в разделе фото дополнения. 
      И это малая часть тех задач которые может выполнить данный модуль. Модуль разрабатывается как универсальный парсер у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты уже зависит только от вас. 
       
       
      Инструкция по установке.
      Установка SimplePars 2.0
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр
      Разрешить редактировать
      Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php (Это важно!)
      Все модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Если вы обновляетесь с версии 1.3 на версию 2  вам необходимо загрузить файл delet_v1.php с директории updete_from_1_to_2 и выполнить. Если нет то пропускаем этот пункт. и переходим к пункту три! (Обратите внимание что версия 2.0 несовместима с 1.3 и после выполнения этого действия, все настройки сделанные в модуле SimplePars будут удалены.)
      3. Выполнить ваш_сайт/inst.php
      4. Удалить с корня сайта файл inst.php (Это важно!)
  • Recently Browsing   2 members

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.