Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Рекомендованные сообщения

56 минут назад, SiteMix сказал:

Надеюсь, критика и предложения воспринимается нормально...

 

Дошли руки, решил затестить. Установил версию SimplePars-0.1. Погнали...

1. Предупреждение, которое встречает при первом открытии модуля: "У вас нету созданных доноров." звучит не очень...

Быть может, лучше так: "У вас пока нет проектов."? И ещё не хватает пробела между значком и текстом.

2. Версия которая отображается - v0.01. Напомню, я скачал версию v0.1. Кстати, в предыдущей имеющейся у меня версии

SimplePars-0.02 высвечивается та же v0.01. Версия указана в файле локализации и, наверное, при выходе новой версии

забывается что нужно нумерацию подправить.

Вероятно, есть смысл перенести нумерацию в какой-то другой файл и менять её с изменением версии.

3. Не смотря на разделение папок по версиям движка, в папках для каждой версии присутствуют файлы локализации как для 2.1, так и для 2.3

4. Создал  донора  проект. Страница вся в кракозябрах... Думал с кодировкой что-то и проверил все файлы в дистрибутиве. Все нормальные...

Ещё так бывает при ошибке, но ошибки в верху не видно. Однако в журнале она есть:

"2018-11-30 9:03:51 - PHP Notice:  Undefined variable: userinput in Z:\home\os23.local\www\admin\controller\catalog\simplepars.php on line 67"

 

Делать нечего, накатил файлы от версии 0.02. Обновил страницу. Ошибок нет.

 

Пока всё, буду пробовать дальше.

 

 

Да поправлю.
грамматика это вообще не мое. 

Все остальное проверю по меняю. 
Для меня было бы проше всего пилить под ocStore 2.3 поскольку продавать пока не намерен перестал записывать название полей и кнопок в файлы локализации.
И гвоздем записываю в файлы дизайна. 

Всему свое время.  
 

Ссылка на комментарий
Поделиться на других сайтах

  • 2 недели спустя...

По просьбе одного человека сделал проверку сбора ссылок на 8 сайтах. И самое смешное смог собрать только на одном.
Уже исправил. В следующем обновлении прилетит.
 

Ссылка на комментарий
Поделиться на других сайтах

интересно что у других все собирается. Или люди просто не пишут об это. 
те кто пробовал. 

Ссылка на комментарий
Поделиться на других сайтах

Сегодня завтра будет релиз новой версии. 

Теперь модуль сможет не только собирать ссылки но и парсить сам сайт и записывать все в файл для обработки АОП
price-7.csv этот прайс был составлен полностью через модуль начиная от сбора ссылок заканчивая настройкой параметров парсинга, и собственно самим парсингом. 

Так же учел замечания @SiteMix
Любители развлечений скоро будем тыкать )))

Ссылка на комментарий
Поделиться на других сайтах

1 час назад, Rassol2 сказал:

Теперь модуль сможет не только собирать ссылки но и парсить сам сайт и записывать все в файл для обработки АОП

О! Интересно!.

 

1 час назад, Rassol2 сказал:

price-7.csv этот прайс был составлен полностью через модуль начиная от сбора ссылок заканчивая настройкой параметров парсинга, и собственно самим парсингом.

Неплохо! Но, всё же, ссылки в файле надо бы оставить. Ведь что-то проще спарсить.

Тем более, что атрибуты в этом файле собраны в неподходящем для АОП виде.

Ссылка на комментарий
Поделиться на других сайтах


2 часа назад, Rassol2 сказал:

Теперь модуль сможет не только собирать ссылки но и парсить сам сайт и записывать все в файл для обработки АОП

Еще бы как то соответствие товарам делалось))))

Ссылка на комментарий
Поделиться на других сайтах


2 часа назад, SiteMix сказал:

О! Интересно!.

 

Неплохо! Но, всё же, ссылки в файле надо бы оставить. Ведь что-то проще спарсить.

Тем более, что атрибуты в этом файле собраны в неподходящем для АОП виде.

Да такая возможность будет.
Так же как и парсинг атрибутов. Только уже в следующих обновлениях.
Не возможно все сразу сделать. :( 

Ссылка на комментарий
Поделиться на других сайтах

2 часа назад, rozario888 сказал:

Еще бы как то соответствие товарам делалось))))

Это если делать модуль который будет делать все под ключ парсинг сайтов. Тогда да такое нужно. 


Но этот модуль я позиционирую как просто игрушку которая кое что умеет. Чем больше свободного времени у меня будет тем больше эта игрушка будет уметь. 

Ссылка на комментарий
Поделиться на других сайтах

@rozario888 @SiteMix @Vorodisa


Господа жду ваши отзывы. Пойду нервничать в сторонку )
 

Модуль SimplePars предназначен для сбора ссылок и парсинга сайтов в csv файл.

 

В двух словах не описать что умеет делать модуль.
Но если не попытаться вы просто пройдете мимо )


Модуль умеет собирать ссылки с любого сайта. 

Для сбора ссылок вам достаточно указать ссылку с которой нужно начать сбор. Затем указать какого рода ссылки вас интересуют. И какие ссылки вам не нужны. 
Это в двух словах, а так настройки довольно гибкие. 
modul1.thumb.png.b502069608ca8202f0e20a9d079ea50d.png

 

После сбора ссылок вы можете их скопировать записать в текстовый файл или эксель, если ваша задача была просто собрать ссылки. Но если вы хотите спарсить товары в csv файл тогда приглашаю дальше )

Вкладка параметры парсинга, здесь вы можете настроить параметры парсинга элементов.
К примеру:

  • Артикул
  • Название
  • Цена
  • Наличие
  • Описание

И многих других. Так же хочу заметить что при помощи этого модуля можно парсить любую информацию не только товары в интернет магазин, а статьи или новости да все что угодно.

Для удобство работы настройки границы парсинга было выполнено в виде двух блоков с пред просмотром сайта. И пред просмотром исходного кода. 
И даже больше для удобства была реализована подсветка синтаксиса исходного кода страницы.
В привью сайта вы можете видеть страницу что парсите. Так же можете выделить элемент что вы хотите спарсить и через поиск в браузере найти его в коде страницы.
Сбоку у вас привычный бар с ссылками что вы собрали для переключения на разные страницы сайта. 
modul2.thumb.png.47b894f716636ef35a6f3853ccf8db88.png

 

После настройки параметров парсинга можно перейти к формированию прайса. Все данные что вы парсите будут записаны в таблицу CSV
Перейдем к еше одной не мало важной вкладке данного модуля : Настройка CSV / Запуск парсинга данных

На этой вкладке вы может настроить форму прайс листа, в каком виде получать данные.

CSV файл формируется по негласному стандарту разделитель между ячейками ; в будущем сделаю настройку. Файл создается в директории /admin/uploads/ для совместимости с модулем AOП
Так же если у вас есть ссылки и вам нужно просто спарсить в файл csv вы можете записать ваши ссылки на этой вкладке.
Так же перед запуском парсинга в файл вы можете воспользоватся пред просмотром, нажав на кнопку Пред просмотр вы увидите подобие CSV таблицы с вписанными данными. 
Там же есть переключатель ссылок. Вы можете проверить параметры на разных ссылка что бы убедится в правильности ваших настроек. 

 

module3.thumb.png.a21144e7638fb011d44f86e7e0d74ac0.png


Цена модуля по одному + в репутацию за каждую вкладку! Если вы будете платить я буду стремится сделать больше вкладок, больше вкладок больше функционал!  :D:D:D

На данный момент проверял работоспособность модуля только на версиях oStore 2.1 - 2,3 На остальных версия я просто не тестировал. 

 

Инструкция по установке.
Установка SimplePars

1. Зайдите в директорию вашей версии модуля, выберите upload и скопируйте все в корень сайта с заменой.

2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.

3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
Разрешить просмотр
Разрешить редактировать
Затем нажмите сохранить.

4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 

5. После этого удалите в корне сайта файл inst.php (Это важно!)

Все модуль установлен.

В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 

Если кому то будет интересен модуль будем развивать его по мере свободного времени. 

Инструкция по обновлению
1. Загрузить содержимое директории uploads  в корень сайта.
2. Выполнить inst.php

3. Удалить с корня сайта файл inst.php (Это важно!)

  • +1 6
Ссылка на комментарий
Поделиться на других сайтах

@Rassol2 Приветствую!

 

Этим обновлением вы очень сильно поможете небольшим магазинам, которые живут только за счёт сайтов-доноров, без прайс листов и без CD по разным обстоятельствам.

Возьму так же на вооружение и присоединюсь к тестам. Есть несколько магазинов, где этот модуль будет как глоток воздуха для их владельцев. 

 

 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


33 минуты назад, Nomandvs сказал:

@Rassol2 Приветствую!

 

Этим обновлением вы очень сильно поможете небольшим магазинам, которые живут только за счёт сайтов-доноров, без прайс листов и без CD по разным обстоятельствам.

Возьму так же на вооружение и присоединюсь к тестам. Есть несколько магазинов, где этот модуль будет как глоток воздуха для их владельцев. 

 

 

Спасибо. Если что пишите. Теперь буду работать на оптимизацию. Хочу все тонкости учесть.

Если ни у кого не будет проблем тогда начну переводить страницу настроек параметров парсинга на ajax запросы, поскольку утомительно настраивать если страница донора весит много. 

Ссылка на комментарий
Поделиться на других сайтах

В 08.12.2018 в 20:47, SiteMix сказал:

Еще не устанавливал,
но, на выходных протестирую.
Но для меня важным является
1. Возможность убирать ссылки из контента который парситься, например в файле price-7.csv в характеристиках есть ссылки <a href="bat.html"> кажется, ну где-то галочку "Убирать данные в тегах <a >...</a>
Остальное протестирую на выходных и допишу отзыв более детально 

 

Ссылка на комментарий
Поделиться на других сайтах


2 часа назад, kikaridza123 сказал:

Еще не устанавливал,
но, на выходных протестирую.
Но для меня важным является
1. Возможность убирать ссылки из контента который парситься, например в файле price-7.csv в характеристиках есть ссылки <a href="bat.html"> кажется, ну где-то галочку "Убирать данные в тегах <a >...</a>
Остальное протестирую на выходных и допишу отзыв более детально 

 

В планах есть реализация аналага функции поиск замена. 
Что позволит реализовать гибкую зачистку данных. 

Все зависит от контингента модуля, кто будет его использовать или отписываться в этой ветке. 
если люди которые немного понимаю как все работает. Тогда будет только поиск замена. И можно будет на любой параметр парсинга выставить правило 
<{skip}> - это правило будет удалять все теги html 
Если контингент будет менее подкован в it значит сделаю галочку Удалить html теги. 

Есть желтение оставить модуль придельно понятным. 
 

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

Подскажите а какое максимальное кол-во ссылок модуль может собрать?
Ну если тестировали конечно.

---
запустил сбор ссылок с сайта aviasales
задача сбор авиалиний

пока так. 
http://prntscr.com/lt293b

Для меня этот модуль прям то что доктор прописал.
Жду будущих обновлений.

Изменено пользователем kikaridza123
Ссылка на комментарий
Поделиться на других сайтах


5 часов назад, rozario888 сказал:

Апгрейд как гром среди ясного неба:D Постараюсь в ближайшее время протестить, очень любопытно 

буду ждать. 

Ссылка на комментарий
Поделиться на других сайтах

Только что, kikaridza123 сказал:

Подскажите а какое максимальное кол-во ссылок модуль может собрать?
Ну если тестировали конечно.

 

Верхнего предела нету. 
Все ссылки пишется в mysql сколько у вас дискового пространства будет под базу данных столько и можно. Хоть шестнадцать миллионов. 
Единственное что, на вкладке CSV не установлено ограничения вывода ссылок для предпросмотра. То есть если будет миллион ссылок будет долго генерировать страницу. Но если такое случится я просто веду ограничение на список ссылок в предпросмотре. И все. 

Ссылка на комментарий
Поделиться на других сайтах

6 часов назад, SiteMix сказал:

Ого! Вот это апгрейд!

Сразу не обещаю, но в ближайшее время протестирую обязательно!

Бду ждать. 

Ссылка на комментарий
Поделиться на других сайтах

Ну и так же если говорить про ограничения. То этот модуль изначально избавлен од проблемы php time limit
К примеру АОП при запуске работает ровно столько времени сколько разрешено хостингом. 
А вот мой модуль работает в связке с браузером и работает порционно. 

для тех кто в теме
браузер выступает демоном который дергает парсинг по одной ссылке. 

кто не в теме. 
Пр нажатии старт браузер посылает запрос на парсинг одной ссылки из очереди. Затем получает ответ от сервера либо да, либо нет. Если да то делает запрос на парсинг следующей ссылки.

Этим я добился что время на выполнения скрипта считается время парсинга одной ссылки. 

Я думаю для простого обывателя это важно. :) 
 

  • +1 2
Ссылка на комментарий
Поделиться на других сайтах

16 минут назад, kikaridza123 сказал:

Подскажите а какое максимальное кол-во ссылок модуль может собрать?
Ну если тестировали конечно.

---
запустил сбор ссылок с сайта aviasales
задача сбор авиалиний

пока так. 
http://prntscr.com/lt293b

Для меня этот модуль прям то что доктор прописал.
Жду будущих обновлений.

ну вот вы и напишите как работает с большим количеством ссылок. 
От вашей информации буду плясать. Что то поправлю или переделаю. 

Самому интересно. Но чисто физически все от тестировать не могу. Сорян :( 

Ссылка на комментарий
Поделиться на других сайтах

18 часов назад, Rassol2 сказал:

ну вот вы и напишите как работает с большим количеством ссылок. 
От вашей информации буду плясать. Что то поправлю или переделаю. 

Со вчерашнего вечера, http://prntscr.com/lteehz
еще собирает.
1. Было бы не плохо сделать нумерацию строк, так как каждый раз после добавления нового параметра парсинга страница обновляется и когда много строк кода сложно найти последнюю отметку,
( или же сделать добавление параметра парсинга без перезагрузки страницы.)

2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки)
Например для последующего парсинга и обновления цены через АОП.

3.Не знаю как для других, но иногда у поставщика есть сайт мап, и было бы наверное круто просто вставить ссылку на сайтмап, прописать необходимые параметры сбора ссылок, и собрать все необходимое, так возможно в некоторых случаях сбор ссылок будет происходить быстрее.

---
Появятся еще мысли напишу.
---
 

Ссылка на комментарий
Поделиться на других сайтах


Всем привет. Может кто подскажет, хоть примерно. Как спарсить вот это? http://nk.rossko.ru/catalog-parts/amortizator/?sid=a0469ac533e08e063cc9b36baaed5100 Шаблон ссылок очереди: /catalog-parts/, качает все подрят, а с /amortizator/ никак

Извиняюсь если что, изучаю еще. Но в перспективе, это будет шедевр а не модуль!)

Изменено пользователем Kosdershtok
Ссылка на комментарий
Поделиться на других сайтах


В 11.12.2018 в 09:34, kikaridza123 сказал:

1. Было бы не плохо сделать нумерацию строк, так как каждый раз после добавления нового параметра парсинга страница обновляется и когда много строк кода сложно найти последнюю отметку,

на оборот в новых версиях было убрана нумерация строк в пользу подсчета общего количества. 
http://joxi.ru/YmEa4gRSw0Gkam

если вставлять нумерацию в textarea тогда нумерация будет копироваться в буфер обмена. И если вы захотите перенести ссылки в текстовый документ получится вот так. 791768230__2018-12-11_12-23-20.thumb.png.a7751161192d7fa8cc2cf5357b8b8834.png
 

 

В 11.12.2018 в 09:34, kikaridza123 сказал:

2.Добавить по умолчанию в CSV файл ссылки с которой идет парсинг, если они уже есть собранные чтоб не добавлять новый параметр и парсить отдельно ссылки)
Например для последующего парсинга и обновления цены через АОП.

да это будет в следующих версиях. 
Для этого нужно внедрить целую область, так называемые встроенные макросы. 
Гвоздями прибить вывод ссылки которая парсится в первой колонке прайс листа это не сложно, но это не гибко. 

 

Цитата

3.Не знаю как для других, но иногда у поставщика есть сайт мап, и было бы наверное круто просто вставить ссылку на сайтмап, прописать необходимые параметры сбора ссылок, и собрать все необходимое, так возможно в некоторых случаях сбор ссылок будет происходить быстрее.

И да и нет.
С своей горы могу сказать это не работает. очень мало сайтов держат сайт мап в актуальном состоянии. И отдельно писать обработчик сайт мапа я бы не хотел. Вот честно )
В вашем случаи нужно делать больше уточнений в поиске ссылок. http://joxi.ru/8Ano4aLfzjNewr
наверное было бы более целесообразным сделать обмен проектами. Вы скинули проект на форум я у себя загрузил глянул поправил отправил вам. 

К примеру парсинг ссылок можно делать не собирая ссылки на все товары. А собрав ссылки на все категории, и страницы категорий. А затем через повторяющиеся границы парсинга просто собрать все ссылки. Но повторяющих грани тоже пока нету :( /
Но они в планах.  :) 

Ссылка на комментарий
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.