[Поддержка] SimplePars - Универсальный парсер для ИМ

[Rassol2]

7 минут назад, evgeniygord сказал:

Спасибо, парсером более чем доволен, купил , два часа повозился уже умеешь пользоваться. 
ждем фичу с мульти категориями )

тут нужно четкое понимание что вы имеете в виду под мульти категориями ? 

Если вот это 
Женская -> Зимняя -> Штаны

Что бы товар выводился не только в категории Штаны. Но еше и в родительских, Зимняя и Женская, и ...
То это не проблема.

Но если вы хотите в смежных категориях то тут немного сложнее.
Женская -> Зимняя -> Штаны

Женская -> Офисная -> Штаны

Как бы сделать реализацию не проблема. Проблема найти сайт донор в котором в карточке товара есть разные категории. И придумать формат в котором нужно предоставить такие категории, что бы модуль мог понять куда раскладывать товар. 

[Djek]

Уважаемый  автор, можно ли как то инструкцию отдельно скачать (вижу она давно не обновлялась), чтобы с темы поддержки себе потом её дополнять, для упорядочивания в голове и лучшего понимания всех новейших функций так сказать  И очень ждём видео по другим вкладкам, если у вас будет время конечно же - какие то важнейшие нюансы там сразу становятся понятны.

[Rassol2]

5 часов назад, Djek сказал:

Уважаемый  автор, можно ли как то инструкцию отдельно скачать (вижу она давно не обновлялась), чтобы с темы поддержки себе потом её дополнять, для упорядочивания в голове и лучшего понимания всех новейших функций так сказать  И очень ждём видео по другим вкладкам, если у вас будет время конечно же - какие то важнейшие нюансы там сразу становятся понятны.

нет скачать не получится. 
Я сам расписываю все ново введения для того что бы потом перенести это в инструкцию. 
Да видео будут. Сейчас в приоритете выкатить под третью версию опенкарта. 

[Rassol2]

Обновление 2.3-9_Beta !!!!

Коротко о главном.

Модуль адаптирован под 
Opencart 3 
ocStore 3 

Встречайте  
 

Спойлер

так же проверил на Opencart 3 rs русская сбора тоже работает. Походу там кроме русификатора ничего не изменили. 

Добавлено кэширования страниц донора при пред просмотре.
.
Теперь когда вы на вкладке настройки параметров парсинга выбираете ссылку для отображения кода, она кешируются. И дальше открывается уже с вашего кеша и не производит дополнительные запросы к сайту донору.
А главное это дало большой прирост скорости в настройке модуля.
Так же кэширования работает на странице пред просмотра в CSV файл.

Файлы кеша живут 3 часа. После истечения 3 часов файлы считаются не актуальными, и при очередном вызове пред просмотра, все закешированные страницы старше 3 часов затираются. 

Короче говоря кеширование страниц сайта донора дало прирост в режимах пред просмотра. Особенно если не включать превью. И снизило количество запросов. 

 

Внимание: При обновлении нужно выполнить /inst.php

[Axelenz]

В 09.06.2019 в 11:56, Rassol2 сказал:

Коротко о главном.

 

На локальной версии:

 

Не должно быть в ссылках очереди:

&
&p=

...

 

а получаем:

 

Очередь сканирования ссылок 

https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=7
https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=4
https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=3
https://rozetka.com.ua/seller/shopaholic/?section_id=80025&p=2

 

Почему ? Версия наипоследнейшая...

И не только это... заметил, что проскакивают разные сочетания символов, которые я запретил. Согласен, не все, но всё же...

[Rassol2]

1 минуту назад, Axelenz сказал:

Почему ? Версия наипоследнейшая...

И не только это... заметил, что проскакивают разные сочетания символов, которые я запретил. Согласен, не все, но всё же...

да есть проблема с тегами & если указать только его, модуль не распознает. 
&p= - но это должно работать. 
Пока не собрался с духом приступить к переработке системы сбора ссылок. 
Думаю на днях поправлю этот баг. Но не в ближайшем обновлении. Можете через одно два. 

[Moveton]

При заходе в этот модуль выдает Неправильная токен-сессия. Авторизуйтесь снова., вводишь пароль и потом выдает это Notice: Undefined index: token in /home/c/cv99413/opencart_2/public_html/admin/controller/catalog/simplepars.php on line 21Notice: Undefined index: token in /home/c/cv99413/opencart_2/public_html/admin/controller/catalog/simplepars.php on line 22Notice: Undefined index: token in /home/c/cv99413/opencart_2/public_html/admin/controller/catalog/simplepars.php on line 47Notice: Undefined index: token in /home/c/cv99413/opencart_2/public_html/admin/controller/catalog/simplepars.php on line 51Notice: Undefined index: token in /home/c/cv99413/opencart_2/storage/modification/admin/controller/common/column_left.php on line 100 , что делать подскажите, что я сделал не так?

Змінено 11 червня 2019 користувачем Moveton

[Rassol2]

В 11.06.2019 в 12:21, Moveton сказал:

При заходе в этот модуль выдает Неправильная токен-сессия. Авторизуйтесь снова., вводишь пароль и потом выдает это Notice: Undefined index: token in /home/c/cv99413/opencart_2/public_html/admin/controller/catalog/simplepars.php on line 21Notice: Undefined index: token in /home/c/cv99413/opencart_2/public_html/admin/controller/catalog/simplepars.php on line 22Notice: Undefined index: token in /home/c/cv99413/opencart_2/public_html/admin/controller/catalog/simplepars.php on line 47Notice: Undefined index: token in /home/c/cv99413/opencart_2/public_html/admin/controller/catalog/simplepars.php on line 51Notice: Undefined index: token in /home/c/cv99413/opencart_2/storage/modification/admin/controller/common/column_left.php on line 100 , что делать подскажите, что я сделал не так?

Что то я сразу не заметил ваше сообщение. 

Сейчас проверю может я что то напутал в архиве.

Какая у вас версия движка ? 

[Rassol2]

@Moveton Да мой косяк.
В архиве перепутаны файлы. 

system.zip
Распакуйте и закиньте в корень магазина с заменой. Затем зайдите в админку -> Дополнения обновить 
http://joxi.ru/EA4zJd7soZRDZm

и у вас все заработает.

Исправлю в следующем обновлении модуля.
Уже поднакопились некие правки. 

[Rassol2]

Обновление v2.4_Beta
 

Исправлены недочеты связанные с созданием категорий, и присвоение главной категории в версии движка ocStore 2 и ocStore 3 
Спасибо за найденный косяк @mazioka

Исправление установочного файлы, проблема о которой писал @Moveton

Так же исправлены вывод ошибок связанные с русской сборкой спасибо @stas2010

Добавлен новый функционал, на странице парсинга в ИМ

 

Теперь возможно создавать url товара и заполнять meta данные сразу при парсинге товара. Или при обновлении. 

 

При обновлении мета данные и url товара обновляется только при условии что выбрано обновлять в товаре название. 
Так же в настройках SEO_URL у вас выбран один из двух способов формирования url.

И в настройках meta данных выбрано обновлять по сео шаблону. 

Для удобства формирования ссылок на товар доступно два метода.
1. Формировать из названия товара.
2. По SEO шаблону.

При формировании по имени товара, модуль берет имя товара и переводит его на латиницу. Удаляет все символы недопустимые в url и записывает полученный url в товар. 

При формировании SEO URL по seo шаблону у вас доступны поля для указанию любых границ парсинга и любого текста. Который модуль тоже преобразует в допустимый формат в url
Одним словом на фото будет нагляднее.

 

Так что теперь модуль работает с url и мета данными.
@OCdevWizard Вам привет передаю, насколько я помню вы сами себе прикрутили к модулю чпу. Ну а теперь оно доступно из коробки. 

Если такой вариант понравится, то по аналогии я внедрю создание чпу и метаданных для категорий. 

При обновлении необходимо ОБЯЗАТЕЛЬНО выполнить /inst.php

Цена на модуль

Ближайшую неделю я буду тестировать модуль и устранять остаточные недочеты. И после чего тестовый период будет завершен.
Цена на модуль будет установлена 1500р
В дальнейшем я буду внедрять лицензирования модуля по домену. Не сразу но это тоже будет сделано. 
И если кому то необходим модуль на нескольких доменах я бы рекомендовал сейчас купить несколько версий. Что бы в дальнейшем получить лицензионные ключи и использовать модуль на разных сайтах.
Думаю все кто принимал участие в развитии модуля уже успели приобрести себе.

И как всегда жду ваши отзывы.  

[OCdevWizard]

1 час назад, Rassol2 сказал:

@OCdevWizard Вам привет передаю, насколько я помню вы сами себе прикрутили к модулю чпу. Ну а теперь оно доступно из коробки. 

это хорошо!

[evgeniygord]

В 07.06.2019 в 19:36, Rassol2 сказал:

Женская -> Зимняя -> Штаны

 да нужно чтобы он спарсил все три категории создал по порядку вложеннности и добавил товар 
только в моес случай это  Электроника -> Смартфоны-> Смартфоны samsung
и если первые две категории еще куда  более статичные то последняя постояно меняется от названия бренда
и руками вечно менять настройки мало удовольствия.

[Rassol2]

4 часа назад, evgeniygord сказал:

 да нужно чтобы он спарсил все три категории создал по порядку вложеннности и добавил товар 
только в моес случай это  Электроника -> Смартфоны-> Смартфоны samsung
и если первые две категории еще куда  более статичные то последняя постояно меняется от названия бренда
и руками вечно менять настройки мало удовольствия.

Сейчас модуль прекрасно определяет категорию по полному пути. 
И раскладывает товар с учетом всей структуру. 
Значит добавлю в ближайшие обновления, кнопку показывать в родительских категориях. 

[hippvik]

Добрый день !Подскажите,  как можно спарсить вот такого плана страницу  :https://uralkeramik.ru/uralkeramika-adelia

  или вот такую: https://almaceramica.ru/collections/aline  или вот http://marbax.ru/product.php?id=313

Может есть какой то способ? Может  у вас есть какие-то  мысли по этому поводу?Я просто не могу сообразить .Уже 2 недели голову ломаю. Как это реализовать.

Змінено 14 червня 2019 користувачем hippvik

[Rassol2]

18 часов назад, hippvik сказал:

Добрый день !Подскажите,  как можно спарсить вот такого плана страницу  :https://uralkeramik.ru/uralkeramika-adelia

  или вот такую: https://almaceramica.ru/collections/aline  или вот http://marbax.ru/product.php?id=313

Может есть какой то способ? Может  у вас есть какие-то  мысли по этому поводу?Я просто не могу сообразить .Уже 2 недели голову ломаю. Как это реализовать.

Мне не совсем ясен вопрос. В чем проблема при парсинге ? 

[hippvik]

В 15.06.2019 в 12:35, Rassol2 сказал:

Мне не совсем ясен вопрос. В чем проблема при парсинге ? 

 

Добрый день !Не могу понять как спарсить товар ну например плитку. просто у этих сайтов на одной странице вся плитка из одной коллекции, а я то парсить её должен каждую как отдельный товар :https://uralkeramik.ru/uralkeramika-adelia

  или вот такую: https://almaceramica.ru/collections/aline  или вот http://marbax.ru/product.php?id=313

может вы покажите и скинете файл шаблон  настройки

.А также предлагаю сделать тему в которой можно выкладывать файлы настроек для разных сайтов дабы упростить .Дальнейший парсинг благодаря шаблонам.У меня уже допустим с десяток сайтов есть я б выложил.

[rozario888]

57 минут назад, hippvik сказал:

Не могу понять как спарсить товар ну например плитку

У каждой плитки есть карточка товара. В каждой ссылке карточки есть часть кода, которая делает ее уникальной от категории.

 - указываете это в фильтре + возможно еще какие то части есть.

 

Либо выгрузятся все ссылки, а потом в экселе отберете нужные по той же логике

Змінено 18 червня 2019 користувачем rozario888

[hippvik]

https://almaceramica.ru/collections/hilda

Вот ссылка на коллекцию плитки.В этой коллекции  4 вида  плитки мне надо её спарсить так чтоб она была каждая отдельным товаром  это возможно сделать?У меня не получаеться. Первую спарсит остальные  не видит. Не могу настроить правильно настройки так чтоб каждую парсило  как отдельный товар. 3 неделя пошла мозг ломаю.мне надо чтоб спарсилось название, атрибуты и картинка и все .Не могу сделать настройки именно парсинга в интернет магазин.Что то где то не догоняю.

 

Змінено 18 червня 2019 користувачем hippvik
Добавил картинку

[Rassol2]

14 минут назад, hippvik сказал:

https://almaceramica.ru/collections/hilda

Вот ссылка на коллекцию плитки.В этой коллекции  4 вида  плитки мне надо её спарсить так чтоб она была каждая отдельным товаром  это возможно сделать?У меня не получаеться. Первую спарсит остальные  не видит. Не могу настроить правильно настройки так чтоб каждую парсило  как отдельный товар. 3 неделя пошла мозг ломаю.мне надо чтоб спарсилось название, атрибуты и картинка и все .Не могу сделать настройки именно парсинга в интернет магазин.Что то где то не догоняю.

 

в данном случаи большая часть данных подгружается через js и их нету в коде. К примеру атрибуты. И здесь можно спарсить только название размер, и фото. 
Остальное пока не достать.

[Rassol2]

5 часов назад, hippvik сказал:

.А также предлагаю сделать тему в которой можно выкладывать файлы настроек для разных сайтов дабы упростить .Дальнейший парсинг благодаря шаблонам.У меня уже допустим с десяток сайтов есть я б выложил.

над этим нужно будет подумать. Сделать какую то базу обмена настройками. 

[hippvik]

18 минут назад, Rassol2 сказал:

в данном случаи большая часть данных подгружается через js и их нету в коде. К примеру атрибуты. И здесь можно спарсить только название размер, и фото. 
Остальное пока не достать.

Тогда хотя бы шаблон где название ,размер и фото парсит? Если нетрудно Сможете кинуть.  Что б понимать как это работает ,а то у меня парсит первое название и первое фото с плиткой а 3 остальных которые на этой странице нет

Змінено 18 червня 2019 користувачем hippvik

[Rassol2]

Обновление v2.4-1_Beta

Исправление ошибок. 
Исправлена ошибка определения количества товаров.

Ошибка создания категорий. 

 

Новенькое
Изменен алгоритм формирования seo url, спасибо пользователю - @stas2010

Добавлено формирования SEO URL при создании категорий и производителей.
Так же добавлена возможность парсить и загружать метаданные в категории и производители.
Все сделано по аналогии как у товаров. 

http://joxi.ru/4AkoVLBfo1z5ZA

http://joxi.ru/eAOYZEpu9EB7Wm

 

Изменен интерфейс страницы поиск замена. 
Один пользователь попросил посмотреть настройки у него было 543 границы парсинга. 
И я что бы проверить 2 границы потратил минут двадцать, из за того что постоянно нужно скролить вниз что бы посмотреть на правила. 
Обсуждал этот вопрос с одним пользователем и он сделал довольно интересное решение. 

Так что встречайте немного переработанный интерфейс страницы поиск замена.
 

Думаю такое изменение позволит вам больше времени уделять настройкам. А не кручению колесика мышки для просмотра правила. 
За идею и реализацию этой страницы огромное спасибо пользователю - @Kiyoshi

При обновлении необходимо выполнить /inst.php

[Rassol2]

4 минуты назад, hippvik сказал:

Ещё  проблема версия 2,4 бета не сохраняются настройки

Выгрузите форму настроек, и загрузите обратно. 
У вас нету одной таблицы я пока не могу определить почему она слетает.
Но если выгрузить настройки. поставщика и тут же загрузить. Это создаст таблицу обратно 

[Rassol2]

Так же при обновлении что бы увидеть новый дизаин страницы поиск замена нужно очистить кеш шаблона.

http://joxi.ru/KAxoZpGfZqNj02
http://joxi.ru/L21z75nsRVdxpA

[hippvik]

Обновил до версии 241 все настройки заработали начало сохраняться.Спасибо большое!

Но как спарсить с одной страницы чтобы каждая плитка  была как отдельный товар? У меня все таки не получается

https://almaceramica.ru/collections/bruma

 

Змінено 18 червня 2019 користувачем hippvik