Jump to content
Sign in to follow this  
1979Sergio1979

Парсинг что это

Recommended Posts

Всем солнечного лета и здравствуйте. Объясните, пожалуйста, на пальцах по парсингу в общих чертах, так сказать, человекопонятным языком.  Предположим, есть мой сайт  с товаром, но без характеристик оного. В инете есть хренова туча сайтов с характеристика нужного мне товара. То есть посредством модуля парсинга, 1)я указываю модулю путь на нужную мне страницу с характеристиками и эти самые характеристики у меня на сайте отражаются? 2)Как это сказывается на позиции сайта? 

Share this post


Link to post
Share on other sites

Давайте по пунктах
1. Какой модуль ?
2. Запись в атрибуты / описание?

Share this post


Link to post
Share on other sites

А так по идеи парсинга характеристик

Зачем? Так как у Вас много товаров и Вы хотите упростить жизнь покупателю при выборе товара. Вы создаете атрибуты (диагональ.... ) . Потом с помощью фильтра отображаете в категории. Вуаля !
А если в описание? Тогда играет роль в позиции сайта =) Но как Вы упростите жизнь покупателю? Если он должен открывать каждый продукт ? =) И увы будет ли Ваш сайт уникальным ( в плане описания товара)?

Share this post


Link to post
Share on other sites

Модуль гипотетический. Я хочу понять в общих чертах. У меня товары - стабилизаторы, генераторы. И их описание сводится к цифрам. Проблемно к каждому товару писать описание, с учетом того, что про него уже всё написано, что можно только представить. Естественно, я напишу оригинальную статью, про изготовителя и модель, к примеру, стабилизатора. Но писать про каждый, кроме характеристик, вродь и нечего. Поэтому меня и интересует парсинг. Или непременно нужно на КАЖДЫЙ ТОВАР сочинять разное описание в 1000 символов?

Share this post


Link to post
Share on other sites

Простыми словами,парсер  некий программный продукт , который позволяет воровать содержимое сайтов и переносить их в другое  место.....

То что у вас описано "взять только  ..... и перенести ко мне в ...."  не имеет отношение к парсингу.

Share this post


Link to post
Share on other sites

Простыми словами,парсер  некий программный продукт , который позволяет воровать содержимое сайтов и переносить их в другое  место.....

То что у вас описано "взять только  ..... и перенести ко мне в ...."  не имеет отношение к парсингу.

 

Простыми словами,парсер  некий программный продукт , который позволяет воровать содержимое сайтов и переносить их в другое  место.....

То что у вас описано "взять только  ..... и перенести ко мне в ...."  не имеет отношение к парсингу.

"Воровать содержимое" - торрентом попахивает :ph34r: :-D   А можно привести пример ситуацию, при которой парсер - самое лучшее решение?

Share this post


Link to post
Share on other sites

Это только моё личное мнение.

 

Данный способ  наполнения хорош в том случае , если  это делается  с разрешения донора, для новых магазинов   на этапе первоначального наполнения, в случае переезда с одной CMS на другую или к примеру перенос магазина с очень старой версии на самую актуальную.

 

Во всех остальных случаях, наличие чужого товара с чужим описанием и чужими картинками, это заведомый вред самому себе....

Share this post


Link to post
Share on other sites

Спасибо за полезную информацию. Сдаётся мне, что за исключением, перечисленных Вами случаев, это, просто, желание халявы...)

Share this post


Link to post
Share on other sites

Нук Вы можете характеристики спарсить в описание но оно может и не уникальное будет ( проанализируйте поисковую выдачу гугла по товарам)

Можете соединить ваше описание + спарсиние характеристики =)

+ можно парсить описание и синонимизировать некоторые слова ибо предложения

Share this post


Link to post
Share on other sites

Синомизировать. Т.е. я смогу передирать некоторые части текста в описании товара?

Уважаемый, проясните пожалуйста, такую ситуацию. Предположим, есть 300 товаров со схожими параметрами. Если я напишу хорошую оригинальную статью и забью её в описание КАЖДОГО товара, с тем изменением, что буду тупо менять названия товара в ряде предложений и фраз. Это будет хорошо, плохо или пофиг?

Заранее, спасибо.

Share this post


Link to post
Share on other sites

Смотрите пишите оригинальный текст описания - ето гарант уникальности страницы в сети. Но можно взять описание из поставщика сайта и сделать словарь синонимов замени (нужно лексически подбирать окончания и тп) потом берете текст проверяете на плагиат , если сходство <30% (грубо) можно его использовать. Характеристики впихаете в атрибуты и в теги товара + модуль фильтра на сайт в категориях. Как по мне самый нормальный вариант.

Каждый товар - уникальное описание. Сперва кажется ерундой - как написать разные тексты практически для одинаковых товаров, но увы ето работа рерайтеров

Share this post


Link to post
Share on other sites

Это только моё личное мнение.

 

Данный способ  наполнения хорош в том случае , если  это делается  с разрешения донора, для новых магазинов   на этапе первоначального наполнения, в случае переезда с одной CMS на другую или к примеру перенос магазина с очень старой версии на самую актуальную.

 

Во всех остальных случаях, наличие чужого товара с чужим описанием и чужими картинками, это заведомый вред самому себе....

Здравствуйте, Tom. Скажите пожалуйста, что бы это значило :  https://opencartforum.com/topic/34215-coolfilter/ хочу оооочень сильно скачать этот модуль, а мне при скачивании пишет, что мол нет права доступа и блаблабла. Оченема модуль надо :cry:

Share this post


Link to post
Share on other sites

А это значит что модуль скрыт для скачивания,по определённым причинам.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Similar Content

    • By Rassol2
      1 600.00 руб
      Скачать/Купить дополнение


      SimplePars - Универсальный парсер для ИМ
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
       
      Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.
      Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

       
      Возможности модуля SimplePars
      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение интернет магазина.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в CSV файл для дальнейшей обработки. 
      Так же реализовано обновления товаров при помощи парсинга сайтов доноров. 
       
      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      1. Сбор ссылок на товары. Или на любые другие страницы сайта. Эти ссылки можно записать в таблицу csv. Либо использовать для наполнения вашего интернет магазина.
      2. Парсинг данных с сайта. Есть возможность парсить напрямую в интернет магазин, или же в файл csv. 
      3. Формировать прайс csv с данными что вы парсите. Так же прайсы можно формировать в готовом формате для загрузки через АОП. Или любого другого загрузчика прайс листов. 
      4. Заполнять интернет магазин новыми товарами.
      5. Обновлять товары, получать цены остатки с сайта донора.
       
      Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парить статьи, отзывы, блоги.
       
      При загрузке или обновлении товара, модуль поддерживает работу с :
      1) Кодом товара 
      2) Артикулом 
      3) Названием
      4) Ценой
      5) Количеством товара на складе
      6) Производителем
      7) Описанием
      8) Категориями
      9) Изображениями
      10) Атрибутами.

      Так же поддерживается: Создание новых категорий, атрибутов, загрузка изображения по ссылке, создание производителей.
      Формировать URL товаров и заполнять SEO данные товара, категорий, производителей.
       
      В данном модуле есть возможность парсить все данные в CSV файл
      Можно формировать прайс листы для загрузки их через популярные дополнения. 
      Такие как:
      Автоматическая обработка прайс листов. 
      CSV Price Pro import/export
       
      И это малая часть тех задач которые может выполнить данный модуль. Модуль разрабатывается как универсальный парсер у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты уже зависит только от вас. 
       
      Инструкция к модулю доступна по ссылке (На данный момент разрабатывается обновленная версия инструкции)
      https://simplepars.top/index.php?page=doc
       
      Обзор возможностей модуля
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр
      Разрешить редактировать
      Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php
      Все модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Выполнить ваш_сайт/inst.php
      3. Удалить с корня сайта файл inst.php
      Добавил Rassol2 Добавлено 28.10.2018 Категория Парсеры Системные требования PHP >= 5.6 Сайт разработчика https://simplepars.top/ Старая цена Метод активации Без активации Ioncube Loader Нет OpenCart 3.0
      2.3
      2.2
      2.1
      2.0 ocStore 3.0
      2.3
      2.2
      2.1 OpenCart.Pro, ocShop Не проверялось Обращение к серверу разработчика Нет  
    • By Rassol2
      Модуль SimplePars предназначен для парсинга и наполнения интернет магазина. 
       
      Идея модуля заключается в том что бы вы могли заварить чашечку кофе и наблюдать как ваш магазин наполняется товарами.
      Ведь намного приятнее наблюдать за строкой загрузки товара, чем заполнять каждую позицию вручную

       
      Возможности модуля SimplePars
      Основные задачи которые решает модуль это парсинг данных с сайта и последующее заполнение интернет магазина.
      Вы можете как парсить напрямую в интернет магазин, так и парсить в CSV файл для дальнейшей обработки. 
      Так же реализовано обновления товаров при помощи парсинга сайтов доноров. 
       
      В двух словах не описать что умеет делать модуль, по этому обозначу только основные моменты.

      1. Сбор ссылок на товары. Или на любые другие страницы сайта. Эти ссылки можно записать в таблицу csv. Либо использовать для наполнения вашего интернет магазина.
      2. Парсинг данных с сайта. Есть возможность парсить напрямую в интернет магазин, или же в файл csv. 
      3. Формировать прайс csv с данными что вы парсите. Так же прайсы можно формировать в готовом формате для загрузки через АОП. Или любого другого загрузчика прайс листов. 
      4. Заполнять интернет магазин новыми товарами.
      5. Обновлять товары, получать цены остатки с сайта донора.
       
      Вы можете указать любое количество границ парсинга, на любые данные что есть в html коде сайта донора.
      SimplePars это универсальный инструмент который поможет вам наполнить ваш интернет магазин.
      Обратите внимание что вы можете настроить парсинг на любые данные, и необязательно они должны быть совместимы с opencart. Вы можете парить статьи, отзывы, блоги.
       
      При загрузке или обновлении товара, модуль поддерживает работу с :
      1) Кодом товара 
      2) Артикулом 
      3) Названием
      4) Ценой
      5) Количеством товара на складе
      6) Производителем
      7) Описанием
      8) Категориями
      9) Изображениями
      10) Атрибутами.

      Так же поддерживается: Создание новых категорий, атрибутов, загрузка изображения по ссылке, создание производителей.
      Формировать URL товаров и заполнять SEO данные товара, категорий, производителей.
       
      В данном модуле есть возможность парсить все данные в CSV файл
      Можно формировать прайс листы для загрузки их через популярные дополнения. 
      Такие как:
      Автоматическая обработка прайс листов. 
      CSV Price Pro import/export
       
      И это малая часть тех задач которые может выполнить данный модуль. Модуль разрабатывается как универсальный парсер у него нету четких задач, у него есть только набор инструментов.
      А что вы построите имея эти инструменты уже зависит только от вас. 
       
      Инструкция к модулю доступна по ссылке (На данный момент разрабатывается обновленная версия инструкции)
      https://simplepars.top/index.php?page=doc
       
      Обзор возможностей модуля
       
      Инструкция по установке.
      Установка SimplePars
      1. Зайдите в директорию вашей версии модуля и скопируйте все в корень сайта с заменой.
      2. Введите в строке браузера ваш_сайт/inst.php и нажмите Enter.
      3. Далее перейдите в раздел Система->Пользователи->Группы пользователей->Администратор нажмите выделить все в двух разделах:
      Разрешить просмотр
      Разрешить редактировать
      Затем нажмите сохранить.
      4. Зайдите в "Модификаторы" или "Менеджер дополнений", и нажмите Обновить. 
      5. После этого удалите в корне сайта файл inst.php
      Все модуль установлен.
      В разделе Каталог под пунктом Производители появится пункт SimplePars это вход в модуль. 
       
      Инструкция по обновлению
      1. Загрузить содержимое директории c названием вашей версии  в корень сайта.
      2. Выполнить ваш_сайт/inst.php
      3. Удалить с корня сайта файл inst.php
    • By HasikBoy
      500.00 руб · Срок продления: 500.00 руб за день
      Скачать/Купить дополнение


      Парсинг, наполнение, обновление, автоматизация для вашего интернет магазина
       
      Ориентировочная стоимость парсинга (пишите в ЛС оговорим детали по Вашему ТЗ)
      ВНИМАНИЕ!!! Стоимость указана ориентировочная, в большинстве случаев она меняется как в меньшую, так и в большую сторону, в зависимости от технического задания!
      ТИП КРАТКАЯ ИНФОРМАЦИЯ ЦЕНА ОТ В РУБ. Простой парсинг Блог, новостной сайт, и др. 1500 Обычный парсинг Простые интернет-магазины 3000 Парсинг средней сложности Интернет-магазины с товарами в которых присутствуют опции и характеристики 4000 Сложная задача по парсингу Сайты с блокировкой от парсинга 5500 Сложная задача по парсингу с доп параметрами Блокировка, Хар в разные столбы, Выборка параметров из текста и так далее 6500 Очень сложный  Сайты на скрипте, инд. Заказ 8000  
       
      Предоставляю услуги по автоматизации наполнения ресурсов,
      определенным контентом, а так же его обработка или генерация.
       
      Решение различных проблем
      РОБОТИЗАЦИЯ
      Мониторинг конкурентов Парсинг различных сайтов (интернет-магазинов, социальных сетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивание файлов Парсинг во всевозможные CMS При парсинге товаров интернет-магазина Сбор требуемой информации для SEO-специалистов Загрузка HTML-таблиц в необходимом формате Выполнение операций с файлами на диске Вычисление математических и логических конструкций как во время парсинга, так и после Определение позиции сайта в выдаче Google по ключевым запросам       Средняя цена услуги той что мне приходилось уже исполнять.
       
      ТИП   ЦЕНА ОТ В РУБ. АВТОНАПОЛНЕНИЕ САЙТА   14000 АВТОГЕНЕРАЦИЯ КОНТЕНТА   500 АВТОГЕНЕРАЦИЯ КОММЕНТАРИЕВ   500 ОБНОВЛЕНИЕ АССОРТИМЕНТА   1000 ОБНОВЛЕНИЕ ЦЕН   1000 ОБРАБОТКА ПРЕЙСКУРАНТОВ   1500 ОБРАБОТКА ПОЧТОВЫХ ЗАЯВОК   3000 ОБРАБОТКА ЗАЯВОК В СОЦ. СЕТЯХ   2500 МОНИТОРИНГ САЙТОВ ПОСТАВЩИКОВ   1000 МОНИТОРИНГ ЦЕН КОНКУРЕНТОВ   2700 УВЕДОМЛ. НА ПОЧТУ/ПО СМС/В СОЦ. СЕТИ   2000 ФИЛЬТРАЦИЯ ИНФ. ПО РАЗЛ. ПАРАМЕТРАМ   3000 ПАРСИНГ ПРОФИЛЕЙ В СОЦ. СЕТЯХ   2500 РЕГИСТРАЦИЯ ПРОФИЛЕЙ В СОЦ. СЕТЯХ   2500 ПЕРЕНОС СОДЕРЖ. С ОДНОГО САЙТА НА ДР.   2500 ПУБЛИКАЦИЯ/УДАЛЕНИЕ МАТЕРИАЛОВ   1500 ИЗВЛ. ИНФ. С САЙТА-ДОНОРА   500  
         
      Портфолио  МОИ РАБОТЫ  
      ЧПУ для CMS OcStore
      СКРИПТ ПАРСИНГА JSON В БД VIRTUEMART
       
      ПАРСИНГ ЗАПАСНЫЕ ЧАСТИ НА МИНИТРАКТОР И МОТОБЛОК
      CMS OcStore
      НАПОЛНЕНИЕ ИНТЕРНЕТ МАГАЗИНА OCSTORE ТОВАРАМИ КОНКУРЕНТА
      Наполнение OcStore
      ПАРСИНГ КАТАЛОГА ТУРФИРМ
       
      ПАРСИНГ ТОВАРОВ С САЙТА КОМПАНИИ КОНКУРЕНТА С ПЕРЕНОСОМ КАТАЛОГА, ВКЛЮЧАЯ ИЕРАРХИЮ, НА НАШ САЙТ
      Наполнение 1C-Bitrix
      ПАРСИНГ САЙТОВ В ТАБЛИЦУ ЭКСЕЛЬ С ДАННЫМИ ТУРФИРМ Г. МОСКВА
       
      ПРИЛОЖЕНИЕ ФОТО КАТАЛИЗАТОР ДЛЯ WINDOWS 10
       

        КОРРЕКТНАЯ НАСТРОЙКА БАЗОВЫХ РЕДИРЕКТОВ ПО ПЕРЕХОДУ НА HTTPS
       
      СБОР ДАННЫХ О РЕСТОРАНАХ В НИДЕРЛАНДАХ
       
      СПАРСИТЬ CАМОГОННЫЕ АППАРАТЫ И НАПОЛНИТЬ ИМИ САЙТ НА OPENCART
      Наполнение сайта добрыня
      CПАРСИТЬ ВСЕ ТОВАРЫ С САЙТА ZAMKI-MIRA НА САЙТ 1C-BITRIX
       

        ПАРСИНГ ТОВАРОВ МАГАЗИНА URL(СКРЫТО) С ГЕНЕРАЦИЕЙ УНИКАЛЬНОГО ОПИСАНИЯ И ПОИСКОМ КАРТИНОК
       

        КАЧЕСТВЕННЫЙ ПАРСИНГ БАЗЫ РЕЗЮМЕ И ВАКАНСИЙ SPB.HH.RU
       

        АВТОМАТИЧЕСКОЕ ФОРМИРОВАНИЕ БАЗЫ ДАННЫХ В ТАБЛИЦЕ EXEL НА ОСНОВАНИИ ОБРАБОТКИ ИНТЕРНЕТ-РЕСУРСОВ
       

        ИЗМЕНЕНИЯ XLS И ЕГО ИМПОРТ В ИНТЕРНЕТ-МАГАЗИН НА БАЗЕ CMS OPENCART
       

        ПАРСИНГ ТОВАРОВ С Я.МАРКЕТА
       

        ПАРСИНГ ФОТО ИЗ АЛЬБОМОВ ГРУППЫ FACEBOOK
       

        АВТОНАПОЛНЕНИЕ «АГЕНТСТВО НЕДВИЖИМОСТИ.» 1C-BITRIX
      ИЗМЕНЕНИЯ XLS И ЕГО ИМПОРТ В ИНТЕРНЕТ-МАГАЗИН НА БАЗЕ CMS OPENCART
        Добавил HasikBoy Добавлено 16.03.2018 Категория Услуги  
    • By vova26
      Здраствуйте.
      Написали мне такой скрипт для актуализации наличия по ссилкам на товар донора,он все роботает,но почему-то иногда не всегда меняет состояние товаров на актуальное.
      Может кто то поможет разобраться с кодом и поправить немножко?
      и появилась такая проблема,у донора имеется товар с опциями а скрипт проверяет просто ссилку на товар и меняет состояние..
       
      <?php
      set_time_limit(0);
      $start = microtime(true);
      ini_set('error_reporting', E_ALL);
      ini_set('display_errors', 1);
      ini_set('display_startup_errors', 1);
      require_once('../config.php');
      require_once('mysqli.php');
      include_once('simple_html_dom.php');
      $db = new mysqli_db();
      $products = $db->multi_query("SELECT * FROM `oc_product` WHERE donor_url != ''",1);
      if(count($products) > 0) {
          foreach($products as $product){
              $html = file_get_html($product['donor_url'],true);
              if (is_object($html)) {
                  $stock_wrap = $html->find('span.stock-wrap',0);
                  if($stock_wrap) {
                      $status = trim($stock_wrap->plaintext);
                      if($status == 'В наличии' && $product['stock_status_id'] != 7) {
                          $db->query("UPDATE `oc_product` SET stock_status_id = 7, quantity = 50 WHERE product_id = '{$product['product_id']}'");
                          echo $product['product_id']." set status 7 <br>";
                      } else if($status != 'В наличии' && $product['stock_status_id'] == 7) {
                          $db->query("UPDATE `oc_product` SET stock_status_id = 5, quantity = 0 WHERE product_id = '{$product['product_id']}'");
                          echo $product['product_id']." set status 5 <br>";
                      }
                  }
                  $html->clear(); 
              }
          }
      }
      echo '<br>Время выполнения скрипта: '.round(microtime(true) - $start, 4).' сек.';
    • By winner0377
      Нужен парсер для парсинга сайта донора, чтобы была возможность в парсере указать ссылку на категорию с товарами на сайте донора, после чего эти товары должны парситься на мой сайт в необходимую на моем сайте категорию.
      Также необходимо автообновление имеющих товаров по цене и наличию в автоматическом режиме через Cron.
       
      Просьба предложения писать в л.с.
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.