Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Добрый день! Парсить  вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182
Здравствуйте. Сейчас не за рабочим местом как вернусь посмотрю что вы имеете в виду. И тогда отвечу.

Отправлено с моего Pixel через Tapatalk

Надіслати
Поділитися на інших сайтах

3 часа назад, hippvik сказал:

Добрый день! Парсить  вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182

Подобные сайты править можно, соберите ссылки вида.
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=32955
И уже парсите эти страницы. Модуль с таким сайтом справится.
При поверхностном просмотре проблем не вижу.

Надіслати
Поділитися на інших сайтах

Извините , но это  снова я .Ссылки на товар собрала , а вот спарсить с этих ссылок я не могу. Плагин как будто не видет их. Прикрепила свои настройки .

SPsetting-621.json

Надіслати
Поділитися на інших сайтах


2 минуты назад, hippvik сказал:

Извините , но это  снова я .Ссылки на товар собрала , а вот спарсить с этих ссылок я не могу. Плагин как будто не видет их. Прикрепила свои настройки .

SPsetting-621.json 7 \u043a\u0411 · 0 downloads

Можно чуть больше информации что в вашем понимании не видит ?
Вот я загрузил ваш проект.
Открываю пред просмотр кода и я вижу все данные страницы.
 

Спойлер

5u86Tvf.png


Что значить не видит ?

Надіслати
Поділитися на інших сайтах

5 минут назад, Rassol2 сказал:

Можно чуть больше информации что в вашем понимании не видит ?
Вот я загрузил ваш проект.
Открываю пред просмотр кода и я вижу все данные страницы.
 

  Скрыть контент

5u86Tvf.png


Что значить не видит ?

Границу парсинга выставляю "< h1>     <  "   и пытаюсь её спарсить  и ничего не получается(

 

Спойлер

Аннотация 2020-02-16 015159.png

 

Змінено користувачем hippvik
Надіслати
Поділитися на інших сайтах


@hippvik отключите пред просмотр что бы не видить это окно.
 

Спойлер

ELUaBjN.png


Я сейчас должен немного доделать свои задачи, а после посмотрю в чем причина и все распишу.

Надіслати
Поділитися на інших сайтах

18 минут назад, Rassol2 сказал:

@hippvik отключите пред просмотр что бы не видить это окно.
 

  Показать контент

ELUaBjN.png


Я сейчас должен немного доделать свои задачи, а после посмотрю в чем причина и все распишу.

Не отображаются в предпросмотре 

 

Спойлер

Аннотация 2020-02-16 015159.png

 

 

Спойлер

Аннотация 2020-02-16 015159ъ.png

 

Змінено користувачем hippvik
Надіслати
Поділитися на інших сайтах


@hippvik Я понял что вы имеете в виду.
Просто я сейчас пишу крон, и мне нужно немного дописать пару функций что бы начать ковырять ваш вопрос.
моя версия модуля сейчас разобранная и не подходит для тестирования.

Мне нужно немного времени.

Надіслати
Поділитися на інших сайтах

@hippvik Собственно проблему нашел.
Суть такова, при загрузке кода в пред просмотр модуль загружает ссылку такого вида.
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=34253

 

 

Но когда вы жмете пред просмотр модуль отправляет обрятно запрос на получение данных по ссылке и применения правила. И в момент передачи знак
& заменяется на &amp;
Все из за этого веба :(
В таком случаи уже модуль ищет данные по ссылке
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&amp;ID=34253
 

А по таким ссылка сайт донор ничего не отдает, и получается модуль исчет границу парсинга в этом коде

###########################################################
# ВНИМАНИЕ!!! Страница взята из кеша модуля SimplePars!!! #
# Дата создания кеша - 2020-02-16 01:29:51                #
###########################################################

#[url]https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&amp;ID=34253[/url]

<p><font class="errortext">Элемент не найден</font></p>

Как вы понимаете там нету такой границы парсинга.

Теперь о главном, хорошая новость это будет исправлено в следующем обновлении.
Плохая новость мне сейчас трудно судить какие связи это может зацепить, по этому спешить с исправлением не хочется.

Но если хотите напишите в ЛС данные доступа к магазину и фтп я вам сейчас внесу правки в модуль.
там нужно добавить три строки в трех местах модуля.

Ну или могу написать куда и что добавить. :)
 

Надіслати
Поділитися на інших сайтах

1 минуту назад, hippvik сказал:

Напишите я добавлю сама) Спасибо за оперативность!

все правки в файле файле /admin/model/catalog/simplepars.php

1. Найдите строку.
public function CachePage($url, $dn_id){
и после нее вставьте
$url = str_replace('&amp;', '&', $url);
что бы вышло вот так.
 

Спойлер

WcJHx77.png


Далее найдите строку
$urls[] = $data['download_link'];
И ПЕРЕД ней вставьте
$data['download_link'] = str_replace('&amp;', '&', $data['download_link']);
Что бы вышло вот так.
 

Спойлер

PDSBE10.png

 

И третье место это пред просмотр парсинга в им.
найдите строку
public function goShowToIm($url, $dn_id){
И после нее вставьте
$url = str_replace('&amp;', '&', $url);
Что бы вышло вот так
 

Спойлер

60X1x1l.png


Если я не ошибаюсь это исправит ситуацию на всех страницах пред просмотра.

Надіслати
Поділитися на інших сайтах

Только что, hippvik сказал:

Вы волшебник ) всё отлично теперь отображается)Буду пробовать тестить дальше.

сколько можно тестить?
У вас модуль уже 10 месяцев пора парсить :wink:

  • +1 2
Надіслати
Поділитися на інших сайтах

Крайне необходима кнопка "Дублировать" границу в настройках парсинга.

Создание границ, которые отличаются только названием либо какой-то настройкой, происходит довольно часто. Не всегда броузер запоминает список введенных ранее значений, так что приходится создавать заново, при этом тратится значительное время. Создание копии границы спасло бы ситуацию.

 

Надіслати
Поділитися на інших сайтах


5 минут назад, stas2010 сказал:

Крайне необходима кнопка "Дублировать" границу в настройках парсинга.

Создание границ, которые отличаются только названием либо какой-то настройкой, происходит довольно часто. Не всегда броузер запоминает список введенных ранее значений, так что приходится создавать заново, при этом тратится значительное время. Создание копии границы спасло бы ситуацию.

 

Позже введу это.

  • +1 1
Надіслати
Поділитися на інших сайтах

Добрый день.

Подскажите, как можно решить это с помощью фильтра ссылок.

 

Например, на сайте есть большое количество категорий и других не нужных ссылок, которые хотелось бы отсеять.

Вот, как пример, ссылки на товар, которые нужны:

 

site.ru/velosiped-2-kolesa

site.ru/velosiped-3-kolesa

site.ru/velosiped-4-kolesa

...

site.ru/samokat-2-kolesa

site.ru/samokat-3-kolesa

...

 

а вот эти ссылки категории, в которые они входят:

 

site.ru/velosiped

...

site.ru/samokat

...

 

они не нужны и таких категорий много, у которых первое слово такое же, как и у товара и убрать его нынешними способами не знаю как. Но у меня есть идея.

Можно сделать так: дописывать в конце символ к словам в фильтре, чтобы фильтр понимал, что идёт речь о ссылках, которые заканчиваются на указанное слово. Это же намного расширит возможности фильтрации. Ну к примеру, можно поставить вот так:

 

/velosiped|

/roliki|

/samokat|

 

и фильтр будет понимать, что все слова, которые заканчиваются на "|" это слова, которые не имеют продолжения и их необходимо отфильтровывать, а ссылки, которые имеют продолжение, например:

 

site.ru/velosiped-2-kolesa

site.ru/velosiped-3-kolesa

site.ru/velosiped-4-kolesa

 

должны попадать в Ссылки на товары.

 

Указать в Шаблоне ссылок на товар только:

/velosiped-

/samokat-

...

не представляется возможным, потому как не известно, что ещё не попадёт в Ссылки на товары. Поэтому проще обрезать то, что явно не нужно, чем конкретизировать, что нужно.

Змінено користувачем Axelenz
Надіслати
Поділитися на інших сайтах


@Axelenz у меня уже есть наработки по использованию в фильтре регулярных выражений и это будет решено при помощи них.
но сейчас можно решить ваш вопрос двумя путми.
1. Оператор {skip}
2. Сбор ссылок из определенной области

 

Надіслати
Поділитися на інших сайтах

5 минут назад, Rassol2 сказал:

@Axelenz у меня уже есть наработки по использованию в фильтре регулярных выражений и это будет решено при помощи них.
но сейчас можно решить ваш вопрос двумя путми.
1. Оператор {skip}
2. Сбор ссылок из определенной области

 

2. - не вариант, когда категорий, например, с полтысячи...

 

А как использовать на вкладке Сбор ссылок оператор {skip} в данном примере ?

Надіслати
Поділитися на інших сайтах


1 минуту назад, Axelenz сказал:

2. - не вариант, когда категорий, например, с полтысячи...

а какое это имеет значение ?
Хоть миллион.
В этом блоке расположены только ссылки на товар, то там ни как не может быть ссылки на категорию. А значит ее и отфильтровывать ненужно.
Как вы будете собирать ссылки на категории не имеет значения но вот в ссылки на товар будут попадать только ссылки на товар. Это проше чем использовать {skip}
 

Спойлер

ZCal7xR.png


Тут {skip} не подойдет учитывая что вы дописали в предыдущий пост.

Надіслати
Поділитися на інших сайтах

Подскажите ведется ли где список исправлений и новшеств в новых версиях, не заходил давно, вышла уже версия 3-1-3, а рыть форум не очень удобно. Спасибо.

Змінено користувачем farshmac
Надіслати
Поділитися на інших сайтах


10 минут назад, farshmac сказал:

Подскажите ведется ли где список исправлений и новшеств в новых версиях, не заходил давно, вышла уже версия 3-1-3, а рыть форум не очень удобно. Спасибо.

Здравствуйте.

Все обновления до версии 3

 

Спойлер

Обновление 2.5

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1385705

Обновление 2.5-1

 https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1386472
 

Обновление 2.5-2
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1386923

 

Обновление 2.5-3
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1387588

 

Обновление 2.5-4
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1391278

 

Обновление 2.5-5

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1392739

 

Обновление 2.6

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1395934

 

Обновление 2.7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1405498

 

Обновление 2.7-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1406882

 

Обновление 2.7-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1411642

 

Обновление 2.7-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1415543

 

Обновление 2.8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1434493

 

Обновление 2.8-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1436098

 

Обновление 2.8-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437245

 

Обновление 2.8-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437664

 

Обновление 2.6-1 и 2.8-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1443365

 

Обновление 2.8-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1445633

 

Обновление 2.9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1451926

 

Обновление 2.9-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1453279

 

Обновление 2.9-2

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1464205

 

Обновление 2.9-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1468648

 

Обновление 2.9-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476467

 

Обновление 2.9-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476644

 

Обновление 2.9-6_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1479142

 

Обновление 2.9-7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1480597

 

Обновление 2.9-8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1482797

 

Обновление 2.9-9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1487413

 

Обновление 2.9-10_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1489906

 

Обновление 2.9-11_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1491656

 

Обновление 2.9-12

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1495735

 

Обновление 2.9-13

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1508186

 

Обновление 2.10

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1508471

 

Обновление 2.10-1

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1509793


обновление с версии 3 видны в блоке обновления на странице модуля
 

Спойлер

4GLjP7c.png

 

Надіслати
Поділитися на інших сайтах

@Rassol2 , добрый день! Можно ли спарсить http://web.se-ecatalog.ru/catalog/view/A10-4-011M ?

 

Характеристики товаров имеют немного разную структуру и более 50 тыс.товаров нужно загрузить

Надіслати
Поділитися на інших сайтах


1 час назад, Sergeyweb99 сказал:

@Rassol2 , добрый день! Можно ли спарсить http://web.se-ecatalog.ru/catalog/view/A10-4-011M ?

 

Характеристики товаров имеют немного разную структуру и более 50 тыс.товаров нужно загрузить

Здравствуйте.
Вот здесь вы найдете ответ на ваш вопрос.
https://simplepars.top/index.php?page=note&note_id=23

Надіслати
Поділитися на інших сайтах

Добрый вечер, подскажите как парсить товары к примеру если их можно определить только по названию, но при парсинге категории добавляются в товар как их отсечь? 

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.