[Поддержка] SimplePars - Универсальный парсер для ИМ

[hippvik]

Добрый день! Парсить  вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182

[Rassol2]

Добрый день! Парсить  вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182

Здравствуйте. Сейчас не за рабочим местом как вернусь посмотрю что вы имеете в виду. И тогда отвечу.

Отправлено с моего Pixel через Tapatalk

[Rassol2]

3 часа назад, hippvik сказал:

Добрый день! Парсить  вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182

Подобные сайты править можно, соберите ссылки вида.
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=32955
И уже парсите эти страницы. Модуль с таким сайтом справится.
При поверхностном просмотре проблем не вижу.

[hippvik]

Извините , но это  снова я .Ссылки на товар собрала , а вот спарсить с этих ссылок я не могу. Плагин как будто не видет их. Прикрепила свои настройки .

SPsetting-621.json

[Rassol2]

2 минуты назад, hippvik сказал:

Извините , но это  снова я .Ссылки на товар собрала , а вот спарсить с этих ссылок я не могу. Плагин как будто не видет их. Прикрепила свои настройки .

SPsetting-621.json 7 \u043a\u0411 · 0 downloads

Можно чуть больше информации что в вашем понимании не видит ?
Вот я загрузил ваш проект.
Открываю пред просмотр кода и я вижу все данные страницы.
 

Спойлер

Что значить не видит ?

[hippvik]

5 минут назад, Rassol2 сказал:

Можно чуть больше информации что в вашем понимании не видит ?
Вот я загрузил ваш проект.
Открываю пред просмотр кода и я вижу все данные страницы.
 

  Скрыть контент

Что значить не видит ?

Границу парсинга выставляю "< h1>     <  "   и пытаюсь её спарсить  и ничего не получается(

 

Спойлер

 

Змінено 15 лютого 2020 користувачем hippvik

[Rassol2]

@hippvik отключите пред просмотр что бы не видить это окно.
 

Спойлер

Я сейчас должен немного доделать свои задачи, а после посмотрю в чем причина и все распишу.

[hippvik]

18 минут назад, Rassol2 сказал:

@hippvik отключите пред просмотр что бы не видить это окно.
 

  Показать контент

Я сейчас должен немного доделать свои задачи, а после посмотрю в чем причина и все распишу.

Не отображаются в предпросмотре 

 

Спойлер

 

 

Спойлер

 

Змінено 15 лютого 2020 користувачем hippvik

[Rassol2]

@hippvik Я понял что вы имеете в виду.
Просто я сейчас пишу крон, и мне нужно немного дописать пару функций что бы начать ковырять ваш вопрос.
моя версия модуля сейчас разобранная и не подходит для тестирования.

Мне нужно немного времени.

[Rassol2]

@hippvik Собственно проблему нашел.
Суть такова, при загрузке кода в пред просмотр модуль загружает ссылку такого вида.
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=34253

 

 

Но когда вы жмете пред просмотр модуль отправляет обрятно запрос на получение данных по ссылке и применения правила. И в момент передачи знак
& заменяется на &amp;
Все из за этого веба
В таком случаи уже модуль ищет данные по ссылке
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&amp;ID=34253
 

А по таким ссылка сайт донор ничего не отдает, и получается модуль исчет границу парсинга в этом коде

###########################################################
# ВНИМАНИЕ!!! Страница взята из кеша модуля SimplePars!!! #
# Дата создания кеша - 2020-02-16 01:29:51                #
###########################################################

#[url]https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=34253[/url]

<p><font class="errortext">Элемент не найден</font></p>

Как вы понимаете там нету такой границы парсинга.

Теперь о главном, хорошая новость это будет исправлено в следующем обновлении.
Плохая новость мне сейчас трудно судить какие связи это может зацепить, по этому спешить с исправлением не хочется.

Но если хотите напишите в ЛС данные доступа к магазину и фтп я вам сейчас внесу правки в модуль.
там нужно добавить три строки в трех местах модуля.

Ну или могу написать куда и что добавить.
 

[hippvik]

Напишите я добавлю сама) Спасибо за оперативность!

[Rassol2]

1 минуту назад, hippvik сказал:

Напишите я добавлю сама) Спасибо за оперативность!

все правки в файле файле /admin/model/catalog/simplepars.php

1. Найдите строку.
public function CachePage($url, $dn_id){
и после нее вставьте
$url = str_replace('&amp;', '&', $url);
что бы вышло вот так.
 

Спойлер

Далее найдите строку
$urls[] = $data['download_link'];
И ПЕРЕД ней вставьте
$data['download_link'] = str_replace('&amp;', '&', $data['download_link']);
Что бы вышло вот так.
 

Спойлер

 

И третье место это пред просмотр парсинга в им.
найдите строку
public function goShowToIm($url, $dn_id){
И после нее вставьте
$url = str_replace('&amp;', '&', $url);
Что бы вышло вот так
 

Спойлер

Если я не ошибаюсь это исправит ситуацию на всех страницах пред просмотра.

[hippvik]

Вы волшебник ) всё отлично теперь отображается)Буду пробовать тестить дальше.

[Rassol2]

Только что, hippvik сказал:

Вы волшебник ) всё отлично теперь отображается)Буду пробовать тестить дальше.

сколько можно тестить?
У вас модуль уже 10 месяцев пора парсить

[stas2010]

Крайне необходима кнопка "Дублировать" границу в настройках парсинга.

Создание границ, которые отличаются только названием либо какой-то настройкой, происходит довольно часто. Не всегда броузер запоминает список введенных ранее значений, так что приходится создавать заново, при этом тратится значительное время. Создание копии границы спасло бы ситуацию.

 

[Rassol2]

5 минут назад, stas2010 сказал:

Крайне необходима кнопка "Дублировать" границу в настройках парсинга.

Создание границ, которые отличаются только названием либо какой-то настройкой, происходит довольно часто. Не всегда броузер запоминает список введенных ранее значений, так что приходится создавать заново, при этом тратится значительное время. Создание копии границы спасло бы ситуацию.

 

Позже введу это.

[Axelenz]

Добрый день.

Подскажите, как можно решить это с помощью фильтра ссылок.

 

Например, на сайте есть большое количество категорий и других не нужных ссылок, которые хотелось бы отсеять.

Вот, как пример, ссылки на товар, которые нужны:

 

site.ru/velosiped-2-kolesa

site.ru/velosiped-3-kolesa

site.ru/velosiped-4-kolesa

...

site.ru/samokat-2-kolesa

site.ru/samokat-3-kolesa

...

 

а вот эти ссылки категории, в которые они входят:

 

site.ru/velosiped

...

site.ru/samokat

...

 

они не нужны и таких категорий много, у которых первое слово такое же, как и у товара и убрать его нынешними способами не знаю как. Но у меня есть идея.

Можно сделать так: дописывать в конце символ к словам в фильтре, чтобы фильтр понимал, что идёт речь о ссылках, которые заканчиваются на указанное слово. Это же намного расширит возможности фильтрации. Ну к примеру, можно поставить вот так:

 

/velosiped|

/roliki|

/samokat|

 

и фильтр будет понимать, что все слова, которые заканчиваются на "|" это слова, которые не имеют продолжения и их необходимо отфильтровывать, а ссылки, которые имеют продолжение, например:

 

site.ru/velosiped-2-kolesa

site.ru/velosiped-3-kolesa

site.ru/velosiped-4-kolesa

 

должны попадать в Ссылки на товары.

 

Указать в Шаблоне ссылок на товар только:

/velosiped-

/samokat-

...

не представляется возможным, потому как не известно, что ещё не попадёт в Ссылки на товары. Поэтому проще обрезать то, что явно не нужно, чем конкретизировать, что нужно.

Змінено 17 лютого 2020 користувачем Axelenz

[Rassol2]

@Axelenz у меня уже есть наработки по использованию в фильтре регулярных выражений и это будет решено при помощи них.
но сейчас можно решить ваш вопрос двумя путми.
1. Оператор {skip}
2. Сбор ссылок из определенной области

 

[Axelenz]

5 минут назад, Rassol2 сказал:

@Axelenz у меня уже есть наработки по использованию в фильтре регулярных выражений и это будет решено при помощи них.
но сейчас можно решить ваш вопрос двумя путми.
1. Оператор {skip}
2. Сбор ссылок из определенной области

 

2. - не вариант, когда категорий, например, с полтысячи...

 

А как использовать на вкладке Сбор ссылок оператор {skip} в данном примере ?

[Rassol2]

1 минуту назад, Axelenz сказал:

2. - не вариант, когда категорий, например, с полтысячи...

а какое это имеет значение ?
Хоть миллион.
В этом блоке расположены только ссылки на товар, то там ни как не может быть ссылки на категорию. А значит ее и отфильтровывать ненужно.
Как вы будете собирать ссылки на категории не имеет значения но вот в ссылки на товар будут попадать только ссылки на товар. Это проше чем использовать {skip}
 

Спойлер

Тут {skip} не подойдет учитывая что вы дописали в предыдущий пост.

[farshmac]

Подскажите ведется ли где список исправлений и новшеств в новых версиях, не заходил давно, вышла уже версия 3-1-3, а рыть форум не очень удобно. Спасибо.

Змінено 18 лютого 2020 користувачем farshmac

[Rassol2]

10 минут назад, farshmac сказал:

Подскажите ведется ли где список исправлений и новшеств в новых версиях, не заходил давно, вышла уже версия 3-1-3, а рыть форум не очень удобно. Спасибо.

Здравствуйте.

Все обновления до версии 3

 

Спойлер

Обновление 2.5

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1385705

Обновление 2.5-1

 https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1386472
 

Обновление 2.5-2
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1386923

 

Обновление 2.5-3
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1387588

 

Обновление 2.5-4
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1391278

 

Обновление 2.5-5

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1392739

 

Обновление 2.6

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1395934

 

Обновление 2.7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1405498

 

Обновление 2.7-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1406882

 

Обновление 2.7-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1411642

 

Обновление 2.7-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1415543

 

Обновление 2.8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1434493

 

Обновление 2.8-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1436098

 

Обновление 2.8-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437245

 

Обновление 2.8-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437664

 

Обновление 2.6-1 и 2.8-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1443365

 

Обновление 2.8-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1445633

 

Обновление 2.9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1451926

 

Обновление 2.9-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1453279

 

Обновление 2.9-2

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1464205

 

Обновление 2.9-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1468648

 

Обновление 2.9-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476467

 

Обновление 2.9-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476644

 

Обновление 2.9-6_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1479142

 

Обновление 2.9-7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1480597

 

Обновление 2.9-8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1482797

 

Обновление 2.9-9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1487413

 

Обновление 2.9-10_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1489906

 

Обновление 2.9-11_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1491656

 

Обновление 2.9-12

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1495735

 

Обновление 2.9-13

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1508186

 

Обновление 2.10

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1508471

 

Обновление 2.10-1

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1509793

обновление с версии 3 видны в блоке обновления на странице модуля
 

Спойлер

 

[Sergeyweb99]

@Rassol2 , добрый день! Можно ли спарсить http://web.se-ecatalog.ru/catalog/view/A10-4-011M ?

 

Характеристики товаров имеют немного разную структуру и более 50 тыс.товаров нужно загрузить

[Rassol2]

1 час назад, Sergeyweb99 сказал:

@Rassol2 , добрый день! Можно ли спарсить http://web.se-ecatalog.ru/catalog/view/A10-4-011M ?

 

Характеристики товаров имеют немного разную структуру и более 50 тыс.товаров нужно загрузить

Здравствуйте.
Вот здесь вы найдете ответ на ваш вопрос.
https://simplepars.top/index.php?page=note&note_id=23

[bodyak0]

Добрый вечер, подскажите как парсить товары к примеру если их можно определить только по названию, но при парсинге категории добавляются в товар как их отсечь?