Перейти к содержанию
Rassol2

[Поддержка] SimplePars - простой парсер.

Рекомендуемые сообщения

SimplePars - простой парсер.


SimplePars - простой парсер.


Модуль SimplePars предназначен для сбора ссылок на сайтах.

В основном пригодится тем кто использует модуль АОП и не знает как собрать ссылки с сайта поставщика. 

 

На данный момент модуль в ранней стадии разработки. И использование на боевом проекте не рекомендуется.

 

Ссылка на скачивание инструкции к модулю.
Инструкция к модулю SimplePars.docx

 

Что умеет модуль. 
На данный момент модуль может собирать ссылки с входной страницы сайта донора. 
Ссылки делятся на два потока, очередь сканирования и выдача (Ссылки которые вы хотите собрать)

 

Присутствует по два набора фильтров на каждый из потоков.
1. Набор переменных при нахождении которых ссылка не сохраняется. (То есть то чего не должно быть в ссылке для добавления в список)
2. Набор переменных который должны присутствовать в ссылке что бы ссылка была сохранена в список. Этот набор переменных так же имеет два режима работы Или/И при по умолчанию "Или" это значит что ссылка будет сохранена в случаи если в ней содержится хотя бы одна переменная из списка. Если установить И тогда в ссылке должны быть все переменные из списка. 


Благодаря этому можно гибко настроить парсинг ссылок. 

 

На данный момент проверял работоспособность модуля только на версиях oStore 2.1 - 2,3

 

Инструкция по установке.
Установка SimplePars

1. Зайдите в директорию вашей версии модуля, выберите upload и скопируйте все в корень сайта с заменой.

2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.

3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
Разрешить просмотр
Разрешить редактировать
Затем нажмите сохранить.

4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 

5. После этого удалите в корне сайта файл inst.php (Это важно!)

Все модуль установлен.

В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 

Если кому то будет интересен модуль будем развивать его по мере свободного времени. 


  • Добавил
  • Добавлено
    28.10.2018
  • Категория
  • Системные требования
  • Сайт разработчика
  • Старая цена
  • Метод активации
    Без активации
  • Ioncube Loader
    Нет
  • OpenCart
    Несовместим
  • ocStore
    2.3
    2.2
    2.1
  • OpenCart.Pro, ocShop
    Не проверялось

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ну что займу первый пост.
Поскольку модуль все же выложил ушел писать инструкцию к этому франкенштейну. Может кому то пригодится ;-)

PS. Чуть не забыл. Кому пригодился нажмите палец верх ;-)

Изменено пользователем Rassol2
  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Это случаем не CD-шный метод?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
4 часа назад, PiratRu сказал:

Это случаем не CD-шный метод?

Вдохновлялся им. И может попримеру него ещё что то прикручу. Все зависит от людей будет нужно или нет. 

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Написал мини инструкцию. Больше не хочу заниматься такой муторной работой, и да сразу извиняюсь я неграмотно пишу кому режет глаз удалите и все )
Инструкция к модулю SimplePars.docx

INSTR.thumb.png.3a62b1a0566806f4ece128ec5f2598fe.png

Проверьте открывается в Microsoft Word а то  у меня нету и проверить не могу. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

нет, проблема осталась, HTTP ERROR 500

Изменено пользователем rozario888

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
30 минут назад, rozario888 сказал:

нет, проблема осталась, HTTP ERROR 500

точнее. Что за проблема ? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 минут назад, Rassol2 сказал:

точнее. Что за проблема ? 

При заходе в модуль выдает пустую страницу с этой ошибкой. И файла inst не было в корне. 

Может удалить все файлы и по новой попробовать 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
2 минуты назад, rozario888 сказал:

При заходе в модуль выдает пустую страницу с этой ошибкой. И файла inst не было в корне. 

Может удалить все файлы и по новой попробовать 

в архиве есть. 
Залейте все по верх с заменой.

 1945033513__2018-11-05_11-19-38.png.5ac4345e9f8a0f1bb9c464894eca1c5b.png

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Разобрался. Мой косяк был. Сначала финиш пропустил, а после не обратил внимание, что инст копируется, а не создается после установки))

Буду тестировать

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 час назад, rozario888 сказал:

Разобрался. Мой косяк был. Сначала финиш пропустил, а после не обратил внимание, что инст копируется, а не создается после установки))

Буду тестировать

Тестируйте ) Удачки. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А прокатит такой вариант, если я в целевую категорию зайду, сделаю отбор по фильтрам и сгенерированую ссылку скормлю модулю на сбор ссылок на сами товары?

Типа вот так http://prntscr.com/lelzbd и вот так http://prntscr.com/lelz2b

 

У меня пока ничего не :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
10 минут назад, rozario888 сказал:

А прокатит такой вариант, если я в целевую категорию зайду, сделаю отбор по фильтрам и сгенерированую ссылку скормлю модулю на сбор ссылок на сами товары?

Типа вот так http://prntscr.com/lelzbd и вот так http://prntscr.com/lelz2b

 

У меня пока ничего не

да можете только тогда в фильтр ссылки очереди нужно добавить такие параметры что бы брались только другие страницы этого фильтра. 
 

Изменено пользователем Rassol2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
27 минут назад, Rassol2 сказал:

в фильтр ссылки очереди нужно добавить такие параметры что бы брались только другие страницы этого фильтра

По инструкции, если правильно до меня дошло, я зашел в товар и оттуда в очередь вставил вот эту часть image.png.5cf89c28f91b443c09ddc2c936883e40.png ?

Т.е. модуль перешел по ссылку в отфильтрованную по брендам категорию и забрал из нее все ссылки с этим значением?!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В выдаче ссылок есть куча ссылок, но не тех:mrgreen: Че то все таки до меня дошло, но не то

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, rozario888 сказал:

В выдаче ссылок есть куча ссылок, но не тех:mrgreen: Че то все таки до меня дошло, но не то

После неудачного фильтра ссылок не забывайте очистить список. 

если вам нужно собрать с одной страницы все ссылки с значением /item/ тогда вам нужно сделать так что бы модуль не добавлял в очередь другие ссылки с сайта. 
И в фильтр выдачи задать вот это /item/

http://joxi.ru/MAjyJ7wt49O4L2
1. Ссылка на страницу с которой ходите собрать все ссылки с  /item/

2. Фильтр для добавления ссылок в очередь, ставите там что то чего точно не будет в ссылках. К пример Rassol2

3. Записывать какой элемент должен содержатся в ссылке что бы попасть в выдачу. 

В итоге вы получите все ссылки что имеют  /item/ с страницы которая записана в поле 1

как то так. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вроде получилось, собрались только нужные товары. Но только с первой страницы из трех.

Чтобы он по всем прошелся, надо в очередь сканирования ссылок добавить ссылку каждой страницы? Или какая то другая схема есть

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, rozario888 сказал:

Вроде получилось, собрались только нужные товары. Но только с первой страницы из трех.

Чтобы он по всем прошелся, надо в очередь сканирования ссылок добавить ссылку каждой страницы? Или какая то другая схема есть

 

либо вручную добавить. Либо настроить фильтры что бы парсер сам добавил в очередь нужные вам ссылки. 
дальше как хотите )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
48 минут назад, Rassol2 сказал:

Либо настроить фильтры что бы парсер сам добавил в очередь нужные вам ссылки.

 

Вот часть ссылки второй страницы ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=2

Или часть стартовой ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=1

 

Как фильтр должен выглядеть в блоке шаблон ссылок очереди? Я че то уже как только не пробовал, пока эта схема ко мне не снизошла и парсится только первая страница))  

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
27 минут назад, rozario888 сказал:

 

Вот часть ссылки второй страницы ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=2

Или часть стартовой ...?f[price][from]=&f[price][to]=&filters_brands_form[0]=869&filters_brands_form[1]=915&filters_brands_form[2]=944&&p=1

 

Как фильтр должен выглядеть в блоке шаблон ссылок очереди? Я че то уже как только не пробовал, пока эта схема ко мне не снизошла и парсится только первая страница))  

 

 

как я понимаю вот это первая страница p=1 а вот это вторая p=2
значит шаблон очереди должен содержать &p=

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Так по просьбе дописал функцию. 

Повторное применение фильтров к ссылкам. 
Допустим вы настроили парсинг ссылок и просканировали 1000 страниц. И после этого поняли что не все добавили в фильтры. 
Раньше вам нужно было удалить все ссылки добавить новые фильтры и заново сканировать. 

Теперь вы можете нажать кнопку Повторить фильтрацию.
489807753__2018-11-06_06-27-30.thumb.png.6693300a4e8356972c63fd4c46ea9f1a.png

Допусти вы забыли в параметры парсинга выдачи ссылок добавить .html 
Дописываете в поле Шаблон выдачи ссылок .html сохраняете форму. После жмете Повторить фильтрацию
1379826450__2018-11-06_06-33-07.thumb.png.a680f9e35a074a6ee12c650ad3c9081a.pngМодуль возьмет из списка собранных ссылок все ссылки и снова прогонит по фильтрам и отсеет те что не соответствуют фильтрам. 
 

Изменено пользователем Rassol2
  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
17 часов назад, Rassol2 сказал:

как я понимаю вот это первая страница p=1 а вот это вторая p=2
значит шаблон очереди должен содержать &p=

 

Пробовал http://prntscr.com/lexsyw , пробовал &p=2, &p=3....и 944&&p=2 и 944&&p=2, но все равно только на выходе только товары с первой страницы

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 минуты назад, rozario888 сказал:

Пробовал http://prntscr.com/lexsyw , пробовал &p=2, &p=3....и 944&&p=2 и 944&&p=2, но все равно только на выходе только товары с первой страницы

у вас стоит галочка Или/И уберите ее. 
А вообще ясно ее значение ? 
1457372501__2018-11-06_11-25-16.png.ba07549e39751940fe4b029f305ecfca.png

Изменено пользователем Rassol2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
6 минут назад, Rassol2 сказал:

А вообще ясно ее значение ? 

Значение ее ясно, она осталось от одной из проб, потому что и без с нее и с ней, все равно только товары с первой страницы.

Я уже как только не пробовал и какие только варианты части ссылки не добавлял в фильтр

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только что, rozario888 сказал:

Значение ее ясно, она осталось от одной из проб, потому что и без с нее и с ней, все равно только товары с первой страницы.

Я уже как только не пробовал и какие только варианты части ссылки не добавлял в фильтр

дайте в лс ссылку на страницу. 
И что у вас в фильтрах прописано.  А я посмотрю. 

Нужно будет сделать обмен настройками ))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Похожий контент

    • От Rassol2
      Модуль SimplePars предназначен для сбора ссылок на сайтах.
      В основном пригодится тем кто использует модуль АОП и не знает как собрать ссылки с сайта поставщика. 
       
      На данный момент модуль в ранней стадии разработки. И использование на боевом проекте не рекомендуется.
       
      Ссылка на скачивание инструкции к модулю.
      Инструкция к модулю SimplePars.docx
       
      Что умеет модуль. 
      На данный момент модуль может собирать ссылки с входной страницы сайта донора. 
      Ссылки делятся на два потока, очередь сканирования и выдача (Ссылки которые вы хотите собрать)
       
      Присутствует по два набора фильтров на каждый из потоков.
      1. Набор переменных при нахождении которых ссылка не сохраняется. (То есть то чего не должно быть в ссылке для добавления в список)
      2. Набор переменных который должны присутствовать в ссылке что бы ссылка была сохранена в список. Этот набор переменных так же имеет два режима работы Или/И при по умолчанию "Или" это значит что ссылка будет сохранена в случаи если в ней содержится хотя бы одна переменная из списка. Если установить И тогда в ссылке должны быть все переменные из списка. 

      Благодаря этому можно гибко настроить парсинг ссылок. 
       
      На данный момент проверял работоспособность модуля только на версиях oStore 2.1 - 2,3
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля, выберите upload и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр
      Разрешить редактировать
      Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php (Это важно!)
      Все модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
      Если кому то будет интересен модуль будем развивать его по мере свободного времени. 
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.