[Поддержка] SimplePars - Универсальный парсер для ИМ

hippvik · 15 лютого 2020

Добрый день! Парсить вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182

Rassol2 · 15 лютого 2020

В 15.02.2020 в 14:22, hippvik сказав:
Добрый день! Парсить вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182

Здравствуйте. Сейчас не за рабочим местом как вернусь посмотрю что вы имеете в виду. И тогда отвечу.

Отправлено с моего Pixel через Tapatalk

Rassol2 · 15 лютого 2020

В 15.02.2020 в 14:22, hippvik сказав:

Добрый день! Парсить вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182

Expand

Подобные сайты править можно, соберите ссылки вида.
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=32955
И уже парсите эти страницы. Модуль с таким сайтом справится.
При поверхностном просмотре проблем не вижу.

hippvik · 15 лютого 2020

Извините , но это снова я .Ссылки на товар собрала , а вот спарсить с этих ссылок я не могу. Плагин как будто не видет их. Прикрепила свои настройки .

SPsetting-621.jsonFetching info...

Rassol2 · 15 лютого 2020

В 15.02.2020 в 22:47, hippvik сказав:

Извините , но это снова я .Ссылки на товар собрала , а вот спарсить с этих ссылок я не могу. Плагин как будто не видет их. Прикрепила свои настройки .

SPsetting-621.json 7 \u043a\u0411 · 0 downloads

Expand

Можно чуть больше информации что в вашем понимании не видит ?
Вот я загрузил ваш проект.
Открываю пред просмотр кода и я вижу все данные страницы.

Показати вміст

Что значить не видит ?

hippvik · 15 лютого 2020

В 15.02.2020 в 22:50, Rassol2 сказав:

Можно чуть больше информации что в вашем понимании не видит ?
Вот я загрузил ваш проект.
Открываю пред просмотр кода и я вижу все данные страницы.

Показати вміст

Что значить не видит ?

Expand

Границу парсинга выставляю "< h1> < " и пытаюсь её спарсить и ничего не получается(

Показати вміст

Змінено 15 лютого 2020 користувачем hippvik

Rassol2 · 15 лютого 2020

@hippvik отключите пред просмотр что бы не видить это окно.

Показати вміст

Я сейчас должен немного доделать свои задачи, а после посмотрю в чем причина и все распишу.

hippvik · 15 лютого 2020

В 15.02.2020 в 23:06, Rassol2 сказав:

@hippvik отключите пред просмотр что бы не видить это окно.

Показати вміст

Я сейчас должен немного доделать свои задачи, а после посмотрю в чем причина и все распишу.

Expand

Не отображаются в предпросмотре

Показати вміст

Змінено 15 лютого 2020 користувачем hippvik

Rassol2 · 15 лютого 2020

@hippvik Я понял что вы имеете в виду.
Просто я сейчас пишу крон, и мне нужно немного дописать пару функций что бы начать ковырять ваш вопрос.
моя версия модуля сейчас разобранная и не подходит для тестирования.

Мне нужно немного времени.

Rassol2 · 15 лютого 2020

@hippvik Собственно проблему нашел.
Суть такова, при загрузке кода в пред просмотр модуль загружает ссылку такого вида.
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=34253

Но когда вы жмете пред просмотр модуль отправляет обрятно запрос на получение данных по ссылке и применения правила. И в момент передачи знак
& заменяется на &
Все из за этого веба
В таком случаи уже модуль ищет данные по ссылке
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=34253

А по таким ссылка сайт донор ничего не отдает, и получается модуль исчет границу парсинга в этом коде

###########################################################
# ВНИМАНИЕ!!! Страница взята из кеша модуля SimplePars!!! #
# Дата создания кеша - 2020-02-16 01:29:51                #
###########################################################

#[url]https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&amp;ID=34253[/url]

<p><font class="errortext">Элемент не найден</font></p>

Как вы понимаете там нету такой границы парсинга.

Теперь о главном, хорошая новость это будет исправлено в следующем обновлении.
Плохая новость мне сейчас трудно судить какие связи это может зацепить, по этому спешить с исправлением не хочется.

Но если хотите напишите в ЛС данные доступа к магазину и фтп я вам сейчас внесу правки в модуль.
там нужно добавить три строки в трех местах модуля.

Ну или могу написать куда и что добавить.

hippvik · 15 лютого 2020

Напишите я добавлю сама) Спасибо за оперативность!

Rassol2 · 16 лютого 2020

В 15.02.2020 в 23:57, hippvik сказав:

Напишите я добавлю сама) Спасибо за оперативность!

Expand

все правки в файле файле /admin/model/catalog/simplepars.php

1. Найдите строку.
public function CachePage($url, $dn_id){
и после нее вставьте
$url = str_replace('&', '&', $url);
что бы вышло вот так.

Показати вміст

Далее найдите строку
$urls[] = $data['download_link'];
И ПЕРЕД ней вставьте
$data['download_link'] = str_replace('&', '&', $data['download_link']);
Что бы вышло вот так.

Показати вміст

И третье место это пред просмотр парсинга в им.
найдите строку
public function goShowToIm($url, $dn_id){
И после нее вставьте
$url = str_replace('&', '&', $url);
Что бы вышло вот так

Показати вміст

Если я не ошибаюсь это исправит ситуацию на всех страницах пред просмотра.

hippvik · 16 лютого 2020

Вы волшебник ) всё отлично теперь отображается)Буду пробовать тестить дальше.

Rassol2 · 16 лютого 2020

В 16.02.2020 в 00:18, hippvik сказав:

Вы волшебник ) всё отлично теперь отображается)Буду пробовать тестить дальше.

Expand

сколько можно тестить?
У вас модуль уже 10 месяцев пора парсить :wink:

stas2010 · 16 лютого 2020

Крайне необходима кнопка "Дублировать" границу в настройках парсинга.

Создание границ, которые отличаются только названием либо какой-то настройкой, происходит довольно часто. Не всегда броузер запоминает список введенных ранее значений, так что приходится создавать заново, при этом тратится значительное время. Создание копии границы спасло бы ситуацию.

Rassol2 · 16 лютого 2020

В 16.02.2020 в 10:56, stas2010 сказав:

Крайне необходима кнопка "Дублировать" границу в настройках парсинга.

Создание границ, которые отличаются только названием либо какой-то настройкой, происходит довольно часто. Не всегда броузер запоминает список введенных ранее значений, так что приходится создавать заново, при этом тратится значительное время. Создание копии границы спасло бы ситуацию.

Expand

Позже введу это.

Axelenz · 17 лютого 2020

Добрый день.

Подскажите, как можно решить это с помощью фильтра ссылок.

Например, на сайте есть большое количество категорий и других не нужных ссылок, которые хотелось бы отсеять.

Вот, как пример, ссылки на товар, которые нужны:

site.ru/velosiped-2-kolesa

site.ru/velosiped-3-kolesa

site.ru/velosiped-4-kolesa

...

site.ru/samokat-2-kolesa

site.ru/samokat-3-kolesa

...

а вот эти ссылки категории, в которые они входят:

site.ru/velosiped

...

site.ru/samokat

...

они не нужны и таких категорий много, у которых первое слово такое же, как и у товара и убрать его нынешними способами не знаю как. Но у меня есть идея.

Можно сделать так: дописывать в конце символ к словам в фильтре, чтобы фильтр понимал, что идёт речь о ссылках, которые заканчиваются на указанное слово. Это же намного расширит возможности фильтрации. Ну к примеру, можно поставить вот так:

/velosiped|

/roliki|

/samokat|

и фильтр будет понимать, что все слова, которые заканчиваются на "|" это слова, которые не имеют продолжения и их необходимо отфильтровывать, а ссылки, которые имеют продолжение, например:

site.ru/velosiped-2-kolesa

site.ru/velosiped-3-kolesa

site.ru/velosiped-4-kolesa

должны попадать в Ссылки на товары.

Указать в Шаблоне ссылок на товар только:

/velosiped-

/samokat-

...

не представляется возможным, потому как не известно, что ещё не попадёт в Ссылки на товары. Поэтому проще обрезать то, что явно не нужно, чем конкретизировать, что нужно.

Змінено 17 лютого 2020 користувачем Axelenz

Rassol2 · 17 лютого 2020

@Axelenz у меня уже есть наработки по использованию в фильтре регулярных выражений и это будет решено при помощи них.
но сейчас можно решить ваш вопрос двумя путми.
1. Оператор {skip}
2. Сбор ссылок из определенной области

Axelenz · 17 лютого 2020

В 17.02.2020 в 15:08, Rassol2 сказав:

@Axelenz у меня уже есть наработки по использованию в фильтре регулярных выражений и это будет решено при помощи них.
но сейчас можно решить ваш вопрос двумя путми.
1. Оператор {skip}
2. Сбор ссылок из определенной области

Expand

2. - не вариант, когда категорий, например, с полтысячи...

А как использовать на вкладке Сбор ссылок оператор {skip} в данном примере ?

Rassol2 · 17 лютого 2020

В 17.02.2020 в 15:15, Axelenz сказав:

2. - не вариант, когда категорий, например, с полтысячи...

Expand

а какое это имеет значение ?
Хоть миллион.
В этом блоке расположены только ссылки на товар, то там ни как не может быть ссылки на категорию. А значит ее и отфильтровывать ненужно.
Как вы будете собирать ссылки на категории не имеет значения но вот в ссылки на товар будут попадать только ссылки на товар. Это проше чем использовать {skip}

Показати вміст

Тут {skip} не подойдет учитывая что вы дописали в предыдущий пост.

farshmac · 18 лютого 2020

Подскажите ведется ли где список исправлений и новшеств в новых версиях, не заходил давно, вышла уже версия 3-1-3, а рыть форум не очень удобно. Спасибо.

Змінено 18 лютого 2020 користувачем farshmac

Rassol2 · 18 лютого 2020

В 18.02.2020 в 17:23, farshmac сказав:

Подскажите ведется ли где список исправлений и новшеств в новых версиях, не заходил давно, вышла уже версия 3-1-3, а рыть форум не очень удобно. Спасибо.

Expand

Здравствуйте.

Все обновления до версии 3

Показати вміст

обновление с версии 3 видны в блоке обновления на странице модуля

Показати вміст

Sergeyweb99 · 19 лютого 2020

@Rassol2 , добрый день! Можно ли спарсить http://web.se-ecatalog.ru/catalog/view/A10-4-011M ?

Характеристики товаров имеют немного разную структуру и более 50 тыс.товаров нужно загрузить

Rassol2 · 19 лютого 2020

В 19.02.2020 в 10:57, Sergeyweb99 сказав:

@Rassol2 , добрый день! Можно ли спарсить http://web.se-ecatalog.ru/catalog/view/A10-4-011M ?

Характеристики товаров имеют немного разную структуру и более 50 тыс.товаров нужно загрузить

Expand

Здравствуйте.
Вот здесь вы найдете ответ на ваш вопрос.
https://simplepars.top/index.php?page=note&note_id=23

bodyak0 · 19 лютого 2020

Добрый вечер, подскажите как парсить товары к примеру если их можно определить только по названию, но при парсинге категории добавляются в товар как их отсечь?

Вхід

[Поддержка] SimplePars - Универсальный парсер для ИМ

Recommended Posts

Надіслати

Поділитися на інших сайтах

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Rassol2

Rassol2

Rassol2

Posted Images

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Створити обліковий запис

Вхід

Схожі публікації

Зараз на сторінці 1 користувач

Покупцям

Розробникам

Корисна інформація

Останні розширення

Important Information