Jump to content

Recommended Posts

Добрый день! Парсить  вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182
Здравствуйте. Сейчас не за рабочим местом как вернусь посмотрю что вы имеете в виду. И тогда отвечу.

Отправлено с моего Pixel через Tapatalk

Share this post


Link to post
Share on other sites
3 часа назад, hippvik сказал:

Добрый день! Парсить  вот такие сайты возможности так и не появилось? https://crimea.kerama-marazzi.com/ru/production/section.php?SECTION_ID=6182

Подобные сайты править можно, соберите ссылки вида.
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=32955
И уже парсите эти страницы. Модуль с таким сайтом справится.
При поверхностном просмотре проблем не вижу.

Share this post


Link to post
Share on other sites

Извините , но это  снова я .Ссылки на товар собрала , а вот спарсить с этих ссылок я не могу. Плагин как будто не видет их. Прикрепила свои настройки .

SPsetting-621.json

Share this post


Link to post
Share on other sites
2 минуты назад, hippvik сказал:

Извините , но это  снова я .Ссылки на товар собрала , а вот спарсить с этих ссылок я не могу. Плагин как будто не видет их. Прикрепила свои настройки .

SPsetting-621.json 7 \u043a\u0411 · 0 downloads

Можно чуть больше информации что в вашем понимании не видит ?
Вот я загрузил ваш проект.
Открываю пред просмотр кода и я вижу все данные страницы.
 

Спойлер

5u86Tvf.png


Что значить не видит ?

Share this post


Link to post
Share on other sites
5 минут назад, Rassol2 сказал:

Можно чуть больше информации что в вашем понимании не видит ?
Вот я загрузил ваш проект.
Открываю пред просмотр кода и я вижу все данные страницы.
 

  Скрыть контент

5u86Tvf.png


Что значить не видит ?

Границу парсинга выставляю "< h1>     <  "   и пытаюсь её спарсить  и ничего не получается(

 

Спойлер

Аннотация 2020-02-16 015159.png

 

Edited by hippvik

Share this post


Link to post
Share on other sites

@hippvik отключите пред просмотр что бы не видить это окно.
 

Спойлер

ELUaBjN.png


Я сейчас должен немного доделать свои задачи, а после посмотрю в чем причина и все распишу.

Share this post


Link to post
Share on other sites
18 минут назад, Rassol2 сказал:

@hippvik отключите пред просмотр что бы не видить это окно.
 

  Показать контент

ELUaBjN.png


Я сейчас должен немного доделать свои задачи, а после посмотрю в чем причина и все распишу.

Не отображаются в предпросмотре 

 

Спойлер

Аннотация 2020-02-16 015159.png

 

 

Спойлер

Аннотация 2020-02-16 015159ъ.png

 

Edited by hippvik

Share this post


Link to post
Share on other sites

@hippvik Я понял что вы имеете в виду.
Просто я сейчас пишу крон, и мне нужно немного дописать пару функций что бы начать ковырять ваш вопрос.
моя версия модуля сейчас разобранная и не подходит для тестирования.

Мне нужно немного времени.

Share this post


Link to post
Share on other sites

@hippvik Собственно проблему нашел.
Суть такова, при загрузке кода в пред просмотр модуль загружает ссылку такого вида.
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&ID=34253

 

 

Но когда вы жмете пред просмотр модуль отправляет обрятно запрос на получение данных по ссылке и применения правила. И в момент передачи знак
& заменяется на &amp;
Все из за этого веба :(
В таком случаи уже модуль ищет данные по ссылке
https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&amp;ID=34253
 

А по таким ссылка сайт донор ничего не отдает, и получается модуль исчет границу парсинга в этом коде

###########################################################
# ВНИМАНИЕ!!! Страница взята из кеша модуля SimplePars!!! #
# Дата создания кеша - 2020-02-16 01:29:51                #
###########################################################

#[url]https://crimea.kerama-marazzi.com/ru/production/element.php?SECTION_ID=6182&amp;ID=34253[/url]

<p><font class="errortext">Элемент не найден</font></p>

Как вы понимаете там нету такой границы парсинга.

Теперь о главном, хорошая новость это будет исправлено в следующем обновлении.
Плохая новость мне сейчас трудно судить какие связи это может зацепить, по этому спешить с исправлением не хочется.

Но если хотите напишите в ЛС данные доступа к магазину и фтп я вам сейчас внесу правки в модуль.
там нужно добавить три строки в трех местах модуля.

Ну или могу написать куда и что добавить. :)
 

Share this post


Link to post
Share on other sites

Напишите я добавлю сама) Спасибо за оперативность!

Share this post


Link to post
Share on other sites
1 минуту назад, hippvik сказал:

Напишите я добавлю сама) Спасибо за оперативность!

все правки в файле файле /admin/model/catalog/simplepars.php

1. Найдите строку.
public function CachePage($url, $dn_id){
и после нее вставьте
$url = str_replace('&amp;', '&', $url);
что бы вышло вот так.
 

Спойлер

WcJHx77.png


Далее найдите строку
$urls[] = $data['download_link'];
И ПЕРЕД ней вставьте
$data['download_link'] = str_replace('&amp;', '&', $data['download_link']);
Что бы вышло вот так.
 

Спойлер

PDSBE10.png

 

И третье место это пред просмотр парсинга в им.
найдите строку
public function goShowToIm($url, $dn_id){
И после нее вставьте
$url = str_replace('&amp;', '&', $url);
Что бы вышло вот так
 

Спойлер

60X1x1l.png


Если я не ошибаюсь это исправит ситуацию на всех страницах пред просмотра.

Share this post


Link to post
Share on other sites

Вы волшебник ) всё отлично теперь отображается)Буду пробовать тестить дальше.

Share this post


Link to post
Share on other sites
Только что, hippvik сказал:

Вы волшебник ) всё отлично теперь отображается)Буду пробовать тестить дальше.

сколько можно тестить?
У вас модуль уже 10 месяцев пора парсить :wink:

  • +1 2

Share this post


Link to post
Share on other sites

Крайне необходима кнопка "Дублировать" границу в настройках парсинга.

Создание границ, которые отличаются только названием либо какой-то настройкой, происходит довольно часто. Не всегда броузер запоминает список введенных ранее значений, так что приходится создавать заново, при этом тратится значительное время. Создание копии границы спасло бы ситуацию.

 

Share this post


Link to post
Share on other sites
5 минут назад, stas2010 сказал:

Крайне необходима кнопка "Дублировать" границу в настройках парсинга.

Создание границ, которые отличаются только названием либо какой-то настройкой, происходит довольно часто. Не всегда броузер запоминает список введенных ранее значений, так что приходится создавать заново, при этом тратится значительное время. Создание копии границы спасло бы ситуацию.

 

Позже введу это.

  • +1 1

Share this post


Link to post
Share on other sites

Добрый день.

Подскажите, как можно решить это с помощью фильтра ссылок.

 

Например, на сайте есть большое количество категорий и других не нужных ссылок, которые хотелось бы отсеять.

Вот, как пример, ссылки на товар, которые нужны:

 

site.ru/velosiped-2-kolesa

site.ru/velosiped-3-kolesa

site.ru/velosiped-4-kolesa

...

site.ru/samokat-2-kolesa

site.ru/samokat-3-kolesa

...

 

а вот эти ссылки категории, в которые они входят:

 

site.ru/velosiped

...

site.ru/samokat

...

 

они не нужны и таких категорий много, у которых первое слово такое же, как и у товара и убрать его нынешними способами не знаю как. Но у меня есть идея.

Можно сделать так: дописывать в конце символ к словам в фильтре, чтобы фильтр понимал, что идёт речь о ссылках, которые заканчиваются на указанное слово. Это же намного расширит возможности фильтрации. Ну к примеру, можно поставить вот так:

 

/velosiped|

/roliki|

/samokat|

 

и фильтр будет понимать, что все слова, которые заканчиваются на "|" это слова, которые не имеют продолжения и их необходимо отфильтровывать, а ссылки, которые имеют продолжение, например:

 

site.ru/velosiped-2-kolesa

site.ru/velosiped-3-kolesa

site.ru/velosiped-4-kolesa

 

должны попадать в Ссылки на товары.

 

Указать в Шаблоне ссылок на товар только:

/velosiped-

/samokat-

...

не представляется возможным, потому как не известно, что ещё не попадёт в Ссылки на товары. Поэтому проще обрезать то, что явно не нужно, чем конкретизировать, что нужно.

Edited by Axelenz

Share this post


Link to post
Share on other sites

@Axelenz у меня уже есть наработки по использованию в фильтре регулярных выражений и это будет решено при помощи них.
но сейчас можно решить ваш вопрос двумя путми.
1. Оператор {skip}
2. Сбор ссылок из определенной области

 

Share this post


Link to post
Share on other sites
5 минут назад, Rassol2 сказал:

@Axelenz у меня уже есть наработки по использованию в фильтре регулярных выражений и это будет решено при помощи них.
но сейчас можно решить ваш вопрос двумя путми.
1. Оператор {skip}
2. Сбор ссылок из определенной области

 

2. - не вариант, когда категорий, например, с полтысячи...

 

А как использовать на вкладке Сбор ссылок оператор {skip} в данном примере ?

Share this post


Link to post
Share on other sites
1 минуту назад, Axelenz сказал:

2. - не вариант, когда категорий, например, с полтысячи...

а какое это имеет значение ?
Хоть миллион.
В этом блоке расположены только ссылки на товар, то там ни как не может быть ссылки на категорию. А значит ее и отфильтровывать ненужно.
Как вы будете собирать ссылки на категории не имеет значения но вот в ссылки на товар будут попадать только ссылки на товар. Это проше чем использовать {skip}
 

Спойлер

ZCal7xR.png


Тут {skip} не подойдет учитывая что вы дописали в предыдущий пост.

Share this post


Link to post
Share on other sites

Подскажите ведется ли где список исправлений и новшеств в новых версиях, не заходил давно, вышла уже версия 3-1-3, а рыть форум не очень удобно. Спасибо.

Edited by farshmac

Share this post


Link to post
Share on other sites
10 минут назад, farshmac сказал:

Подскажите ведется ли где список исправлений и новшеств в новых версиях, не заходил давно, вышла уже версия 3-1-3, а рыть форум не очень удобно. Спасибо.

Здравствуйте.

Все обновления до версии 3

 

Спойлер

Обновление 2.5

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1385705

Обновление 2.5-1

 https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1386472
 

Обновление 2.5-2
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1386923

 

Обновление 2.5-3
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1387588

 

Обновление 2.5-4
https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1391278

 

Обновление 2.5-5

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1392739

 

Обновление 2.6

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1395934

 

Обновление 2.7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1405498

 

Обновление 2.7-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1406882

 

Обновление 2.7-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1411642

 

Обновление 2.7-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1415543

 

Обновление 2.8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1434493

 

Обновление 2.8-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1436098

 

Обновление 2.8-2_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437245

 

Обновление 2.8-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1437664

 

Обновление 2.6-1 и 2.8-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1443365

 

Обновление 2.8-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1445633

 

Обновление 2.9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1451926

 

Обновление 2.9-1_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1453279

 

Обновление 2.9-2

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1464205

 

Обновление 2.9-3_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1468648

 

Обновление 2.9-4_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476467

 

Обновление 2.9-5_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1476644

 

Обновление 2.9-6_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1479142

 

Обновление 2.9-7_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1480597

 

Обновление 2.9-8_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1482797

 

Обновление 2.9-9_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1487413

 

Обновление 2.9-10_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1489906

 

Обновление 2.9-11_beta

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1491656

 

Обновление 2.9-12

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1495735

 

Обновление 2.9-13

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1508186

 

Обновление 2.10

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1508471

 

Обновление 2.10-1

https://opencartforum.com/topic/123017-podderzhka-simplepars-universalnyy-parser-dlya-im/?do=findComment&comment=1509793


обновление с версии 3 видны в блоке обновления на странице модуля
 

Спойлер

4GLjP7c.png

 

Share this post


Link to post
Share on other sites
1 час назад, Sergeyweb99 сказал:

@Rassol2 , добрый день! Можно ли спарсить http://web.se-ecatalog.ru/catalog/view/A10-4-011M ?

 

Характеристики товаров имеют немного разную структуру и более 50 тыс.товаров нужно загрузить

Здравствуйте.
Вот здесь вы найдете ответ на ваш вопрос.
https://simplepars.top/index.php?page=note&note_id=23

Share this post


Link to post
Share on other sites

Добрый вечер, подскажите как парсить товары к примеру если их можно определить только по названию, но при парсинге категории добавляются в товар как их отсечь? 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By legioner26
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
    • By legioner26
      1 299.00 руб
      Скачать/Купить дополнение


      Модуль зуммирования изображений товара - ZoomPRO
      Разработан многофункциональный модуль Opencart Zoom для зуммирования изображений в карточке товара с выбором вариантов исполнения.
      ПРИМЕЧАНИЕ !!!
      Если у Вас не стандартный шаблон то для корректной работы настоятельно рекомендую проверить установлены ли иные плагины зумма.
      Не забываем очищать кешь на сайте при изменении настроек. Сочетание клавишь (Ctrl+F5)
       
      DEMO Логин: demo Пароль: demo
      http://mvc-cart.ru/index.php?route=product/product&product_id=30
       
       
      ПРОСМОТР РАБОТЫ МОДУЛЯ Кликнуть по тексту чтобы просмотреть.
       
      По адаптации шаблонов пишите в ЛС
       
      Тестировался с шаблонами Moneymaker 2, ROUNDSHOP, Corsica, Fiji, pixelshop и многими другими.
       
      Вариант №1
       
      Зуммирование в отдельном блоке, от изображения либо вывод в любом другом
       
      Вариант №2
       
      Зуммирование со скроллом внутри блока с изображением
       
      Вариант №3
       
      Зуммирование в виде лупы с настройками по ширине и высоте.
       
       
       
      Установка:
      1. Копируем содержимое исходя из версий ОС на хостинг в корень сайта 
      2. В модификаторах чистим кешь и обновляем.
      3. Пишем в личку номер вашего заказа, я высылаю Вам ключ.
       
       
      https://opencartforum.com/profile/723002-legioner26/?tab=field_core_pfield_13 ->> СЕО сопровождение магазинов под управлением OpenCart
       
      Добавил legioner26 Добавлено 20.05.2019 Категория Меню, дизайн, внешний вид Системные требования Ioncube Loader Метод активации По запросу в ЛС Ioncube Loader Требуется OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Opencart.pro 2.3
      Opencart.pro 2.1
      OcShop 2.0.3.х Обращение к серверу разработчика Нет Старая цена 3500  
    • By GeorgyM
      Написать личное сообщение КЛИК
      Вы можете задать мне любые вопросы в личном сообщении.
      Я постоянно присутствую на форуме.
      ============================================-=====================================
      Услуги по наполнению Вашего сайта. обновлению цен, остатков, автоматизации.
      Парсинг и загрузка на Ваш сайт, товаров для Opencart, каталогов, статей, блогов, галерей, отзывов, обзоров всего, что угодно.
      Парсинг Яндекс Маркета, Авито, Юлы, Price.ru любого сайта Вашего конкурента или поставщика.
      Могу собрать данные в Excel и CSV любого формата, а так же импортировать в Вашу базу данных.
       
         
       
      Я могу собрать любые данные в интернете и импортировать их на Ваш сайт.
      Срок работ от "супер срочно - сделать прямо сейчас"!  
        
      Как начать работать со мной: 
      Укажите сайт, с которого нужно собрать данные (Домен)
      Укажите дополнительные пожелания   
       
      НЕ НУЖНО ЗАПОЛНЯТЬ СЛОЖНОЕ ТЕХНИЧЕСКОЕ ЗАДАНИЕ
      В переписке согласуем Все детали.
       
      Загрузка на Ваш сайт или передача Вам файла в формате Вашего модуля импорта.
      Быстро, конфиденциально 
      Указана базовая стоимость.
       
      В зависимости от сложности проекта цена может быть изменена по согласованию.
      Любая сложность парсинга!
       
      Чтобы сэкономить время на переписке, прошу внимательно отнестись к строкам ниже, по поводу ТЗ для Парсинга. Я должен понимать какие, работы мне для Вас делать, а без ТЗ я этого понять не смогу.
       
       
      Для понимания ТЗ мне нужно получить краткое ТЗ:
      Если Вам нужно получить от меня только файл для импорта и каталог картинок: дайте мне адрес сайта-донора, пример файла, который Вам нужно получить с заполненными 2-3 строками, комментарии, этого будет достаточно.  
      Если Вы хотите, чтобы я для Вас спарсил и загрузил товары: напишите мне адрес сайта-донора. Можете схематично показать какие данные со страницы донора, должны быть перенесены на Ваши страницы (в виде простых рисунков)  
      Часто возникает вопрос как скопировать товары с одного интернет магазина и загрузить товары в свой интернет магазин.
       
      Особенно Важно парсить товары если нужно перенести большой каталог на свой сайт интернет магазина, так как руками копировать товары очень долго. 
       
      Я могу спарсить самые сложные сайты: со скриптами, защитами, различными Post запросами, и предоставить Вам данные в CSV или Excel файле, нужного Вам формата.
       
      Могу загрузить опции товаров, атрибуты товаров, дополнительные картинки и тексты, отзывы.
       
      Провести нужные манипуляции с ценами и скидками на товары и прочие сложные операции.
      Могу привести каталог категорий к нужному виду, скопировав картинки и описания категорий.
       
      От Вас потребуется только, домены сайтов откуда копировать каталог, и если Вы планируете загружать самостоятельно данные в Ваш интернет магазин, пример файла в который Вам записать данные.
      Скрипт автоматического наполнения магазина, так же могу разработать.
  • Recently Browsing   1 member

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.