[Поддержка] SimplePars - Універсальний парсер для ІМ

[Dmitry76]

  В 09.04.2021 в 15:51, Rassol2 сказав:

Добавит к существующим новые.
Вы же сами цитируете настройку "не очищать ссылки на товары" это значит ровно то как написано.
 

Expand  

 Спасибо. Тогда отлично!

[Rassol2]

  В 09.04.2021 в 15:58, Dmitry76 сказав:

 Спасибо. Тогда отлично!

Expand  

не за что. 
Всего доброго.

[Dmitry76]

  В 09.04.2021 в 16:01, Rassol2 сказав:

не за что. 
Всего доброго.

Expand  

Тех. поддержка этого модуля - всегда самая оперативная! Спасибо Вам за Ваш труд!

[amd4]

  В 09.04.2021 в 15:46, partshez сказав:

Обратите внимание. В словарике вначале ставьте перевод для словосочетания ручка-карандаш. А следующие правила для слова ручка и отдельно для слова карандаш. Иначе будут проблемы

Expand  

Точно. Спасибо. Учту.  

[Rassol2]

  В 09.04.2021 в 16:25, Dmitry76 сказав:

Тех. поддержка этого модуля - всегда самая оперативная! Спасибо Вам за Ваш труд!

Expand  

Всегда пожайлуста.
Стараюсь. Хоть последнее время работы становится все больше и больше.

[Mixxxa163]

Добрый день,

 

Необходимо настроить и сделать парсинг с сайта - донора этим модулем. Предлы в лс.

[ZevZ]

Подскажите, как лучше фильтровать товары, которые не нужно парсить?

Через допуск к обработке или как то еще можно?

[partshez]

  В 10.04.2021 в 08:38, ZevZ сказав:

Подскажите, как лучше фильтровать товары, которые не нужно парсить?

Через допуск к обработке или как то еще можно?

Expand  

Лучше на этапе сбора ссылок на товар. 

Что должно быть в url товара. Или не должно быть

Змінено 10 квітня 2021 користувачем partshez

[ZevZ]

  В 10.04.2021 в 09:49, partshez сказав:

Лучше на этапе сбора ссылок на товар. 

Что должно быть в url товара. Или не должно быть

Expand  

Парсю с карты сайта, там прямые ссылки на товары, однородные. Просто нужно отсеить некоторые позиции, которые не будут продаваться на сайте.

[partshez]

  В 10.04.2021 в 10:02, ZevZ сказав:

Парсю с карты сайта, там прямые ссылки на товары, однородные. Просто нужно отсеить некоторые позиции, которые не будут продаваться на сайте.

Expand  

В Парсинг в ИМ. Правила обработки страниц. Создайте правила обработки страниц. Например, прозводителя А не обрабатывать. Или если в названии товара есть слово ДИВАН, такую ссылку не обрабатывать. Правил может быть сколько угодно

Или же если слово Диван есть в названии, эту ссылку обрабатывать

Змінено 10 квітня 2021 користувачем partshez

[ZevZ]

  В 10.04.2021 в 11:44, partshez сказав:

В Парсинг в ИМ. Правила обработки страниц. Создайте правила обработки страниц. Например, прозводителя А не обрабатывать. Или если в названии товара есть слово ДИВАН, такую ссылку не обрабатывать. Правил может быть сколько угодно

Или же если слово Диван есть в названии, эту ссылку обрабатывать

Expand  

Спасибо.

А если из списка ссылок для парсинга удалить ссылки, они опять спарсятся?

[partshez]

  В 10.04.2021 в 19:55, ZevZ сказав:

Спасибо.

А если из списка ссылок для парсинга удалить ссылки, они опять спарсятся?

Expand  

При сборе ссылок заново спарсятся. Если не запускать сбор ссылок, будут обработаны только из списка ссылок на товар. Т.е. те, которые Вы не удалили

[Dmitry76]

  В 09.04.2021 в 15:51, Rassol2 сказав:

Добавит к существующим новые.
Вы же сами цитируете настройку "не очищать ссылки на товары" это значит ровно то как написано.
 

Expand  

Если среди новых ссылок, будут такие же как уже были в списке, то парсер не поставит эти дубли? Т.е. 2 раза по одним и тем же ссылкам не будет вестись парсинг? А то у меня как-то странно получилось при сборе ссылок новых... К существующим, добавилось еще 95% по количеству

Змінено 10 квітня 2021 користувачем Dmitry76

[Rassol2]

  В 10.04.2021 в 21:28, Dmitry76 сказав:

Если среди новых ссылок, будут такие же как уже были в списке, то парсер не поставит эти дубли? Т.е. 2 раза по одним и тем же ссылкам не будет вестись парсинг? А то у меня как-то странно получилось при сборе ссылок новых... К существующим, добавилось еще 95% по количеству

Expand  

Здравствуйте.
нет не добавится, в модуле не могут быть дубли ссылок. Они отсеиваются на уровне базы данных.
Двух одинаковых ссылок не будет.

[specialforce22]

Здравствуйте!

Вопрос к понедельнику - рабочему дню))

 

Просьба подсказать по разбору xml-фида 

Вот сама ссылка - https://krd.kassir.ru/frame/feed/xml?key=7375d954-00eb-8242-de6c-4e0815f897df

 

1. Вот я получил блок товара

Вижу есть категория - <venue>1771</venue>

Дата начала и окончания события -  

   <date>
        <start>2021-04-21 19:00:00</start>
        <end>2021-04-21 20:00:00</end>
      </date>

!=========================================================== Товар №286 ========================================================!

<item>
      <id>1095183</id>
      <action>91418</action>
      <venue>1780</venue>
      <hall>318240</hall>
      <name>ЗАТОЧКА</name>
      <url><![CDATA[https://krd.kassir.ru/frame/entry/index?type=E&id=1095183&key=7375d954-00eb-8242-de6c-4e0815f897df]]></url>
      <date>
        <start>2021-05-30 20:00:00</start>
        <end>2021-05-30 21:00:00</end>
      </date>
      <sell_till_end>0</sell_till_end>
      <age>18+</age>
      <special></special>
      <special_tip></special_tip>
      <description><![CDATA[]]></description>
      <poster>https://cdn.kassir.ru/krd/poster/0a/0acec34a8ca7abd12365101c36988a95.jpg</poster>
      <horizontal_poster>https://cdn.kassir.ru/krd/horizontal/9f/9f2ff2a38cd2c1a7b99645f49241cd00.jpg</horizontal_poster>
      <price_min>1000</price_min>
      <price_max>2000</price_max>
      <eticket>1</eticket>
      <available_tickets>123</available_tickets>
      <core_id>1095183</core_id>
      <duration></duration>
      <intermission></intermission>
    </item>

!=========================================================== Товар №287 ========================================================!

2. Перехожу в настройку парсинга, чтобы задать границы, но не вижу ни границы категории, ни дат и прочее

  <item>
      <id>38161</id>
      <name>Пошлая Молли</name>
      <url><![CDATA[https://krd.kassir.ru/frame/entry/index?type=A&id=38161&key=7375d954-00eb-8242-de6c-4e0815f897df]]></url>
      <multi>1</multi>
      <description><![CDATA[<p>Молодые звёзды рок-н-ролла ПОШЛАЯ МОЛЛИ едут в Краснодар со своим новым альбомом! Не пропусти это событие, иначе со слезами на глазах будешь смотреть сторис своих друзей и жалеть, что не побывал на мега вечерине этих долбанутых на всю голову пацанов!<br /><br />Шоу обещает быть по истине незабываемым. Свет, мощный звук, слэм, старые хиты и новые хиты и хитовые хиты &mdash; и все это только ради того, чтобы оставить яркую вспышку в твоей памяти на всю жизнь, мой милый друг.</p><p>Организатор:</p><p>ООО "СОЛДАУТ"</p><p>Юридический адрес: г. Ярославль, ул. Большая Техническая, д. 14, кв. 275</p><p>ИНН: 7604358225</p>]]></description>
      <poster>https://cdn.kassir.ru/krd/poster/a3/a38b9b0f1fff1914ca9dd40dd2a36600.jpg</poster>
      <horizontal_poster>https://cdn.kassir.ru/krd/horizontal/b2/b2f36fff803359edeea9b681dfd003fa.jpg</horizontal_poster>
      <category>Концерт</category>
      <category_id>3000</category_id>
      <subcategory></subcategory>
      <special></special>
      <special_tip></special_tip>
      <available_tickets>195</available_tickets>
      <intermission></intermission>
      <duration></duration>
    </item>

 

Что делаю не так?

Спасибо!

[Rassol2]

  В 11.04.2021 в 15:55, specialforce22 сказав:

Что делаю не так?

Спасибо!

Expand  

Здравствуйте.
Вас не смущает тот факт что вы смотрите на совершенно разные блоки?
 

  Показати вміст

Мне кажет это и есть причина.

[specialforce22]

  В 11.04.2021 в 16:16, Rassol2 сказав:

Здравствуйте.
Вас не смущает тот факт что вы смотрите на совершенно разные блоки?

Мне кажет это и есть причина.

Expand  

 

Блн, я думал все товары одинаковые...а теперь присмотрелся, действительно часть товаров в фиде идет нормально, а часть урезанная.

Хотел всё подцепить из XML

Придется, как прежде, в два этапа:

1. Всю информацию парсить с сайта;

2. Партнерскую ссылку грузить из xml

Так то всё круто и быстро, но хотелось идеала в одно окно))

Эх, а щастье было рядом)))

Благодарю!

[Rassol2]

  В 11.04.2021 в 17:10, specialforce22 сказав:

 

Блн, я думал все товары одинаковые...а теперь присмотрелся, действительно часть товаров в фиде идет нормально, а часть урезанная.

Хотел всё подцепить из XML

Придется, как прежде, в два этапа:

1. Всю информацию парсить с сайта;

2. Партнерскую ссылку грузить из xml

Так то всё круто и быстро, но хотелось идеала в одно окно))

Эх, а щастье было рядом)))

Благодарю!

Expand  

так скопируйте проект.
Настройте на один тип.
Второй на второй.
И через допуски к парсингу отсейте в первом проекте страницы второго типа, а во втором страницы первого.

И вот у вас два проект могут грузить все с xml

[IceDesignKh]

Добрый день, сначала спасибо за создание такого модуля! Работает отлично) 

Но вот проблема при импорте картинок возникла, спарсили уже 22 000 товаров.. И есть некоторые с вот таким дефектом фото либо фото вообще не спарсило.

 

 

Как быть в такой ситуации? Я хотел запустить парсинг заново указав в настройках (Обновлять и удалить старые [Внимание!!! Старые фото товара будут удалены с сервера])
Но мы уже изменили SKU и Model, оно на создавало кашу.. Есть еще способ перепарсить фото ? И почему вообще так получилось?

[Rassol2]

  В 12.04.2021 в 12:31, IceDesignKh сказав:

Но мы уже изменили SKU и Model, оно на создавало кашу.. Есть еще способ перепарсить фото ? И почему вообще так получилось?

Expand  

Почему так получилось я не могу сказать потому что я не вижу на скриншооте проблем.
А вот все ответы по парсингу всегда есть в логах. Смотрите и видите что спарсилось, а что нет, и почему.

Как перепарсить фото, запустить повторно парсинг. Но если вы поменяли артикула, то есть поменяли идентификаторы. Тогда меняете обратно и запускаете.
на будущие если нужно менять идентификаторы их у вас может быть 9 вы можете одно и тоже значение записать в артикул и в UPC
и при необходимости поменять значение в артикуле, но при этом в upc оставить и при повторном парсинге использовать его как идентификатор.

[Mixxxa163]

Здравствуйте,

 

Модуль может парсить вложения? (Pdf, видео)?

[Rassol2]

  В 12.04.2021 в 16:06, Mixxxa163 сказав:

Здравствуйте,

 

Модуль может парсить вложения? (Pdf, видео)?

Expand  

Здравствуйте.
Нет перекачать пдф к вам на сайт не может.
Может только указать ссылку на файл на сайт доноре.

Видео с ютуба переносятся вместе с кодом тут проблем нет.
 

[ksm1281]

Добрый день. Собрал ссылки настроил сначала было все ок. Потом донор закрыл доступ к страницы с светит только часть кода где нет нужной информации как следствие никакие границы не работают.  Как выйти с ситуации? Извините пишу первый раз может не по правилам...

[partshez]

  В 13.04.2021 в 10:39, ksm1281 сказав:

Добрый день. Собрал ссылки настроил сначала было все ок. Потом донор закрыл доступ к страницы с светит только часть кода где нет нужной информации как следствие никакие границы не работают.  Как выйти с ситуации? Извините пишу первый раз может не по правилам...

Expand  

https://simplepars.top/index.php?page=notes&tag_id=21

Читайте, изучайте, используйте в работе

[yurok79]

#[url]https://******tile.com.ua/p1071800970-polotentse-dlya-krescheniya.html[/url]
<!DOCTYPE html>
<html lang="en-US">
<head>
  <title>Защита от роботов</title>
  <meta name="viewport" content="width=device-width, initial-scale=1.0, minimum-scale=1.0, maximum-scale=1.0">
  <link rel="shortcut icon" href="https://static-cache.ua.uaprom.net/favicon.ico"/>
  <script>
    function reCaptchaCallback(response) {
      if (response === document.querySelector(".g-recaptcha-response").value) {
        document.forms["uaprom-form"].submit();
      }
    }
  </script>
  <script src="https://www.google.com/recaptcha/api.js?hl=ru" async
          defer></script>
  <style>
    * {
      padding: 0;
      margin: 0;
    }
 
    html, body {
      height: 100%;
      box-sizing: border-box;
      overflow: hidden;
    }
 
    button, input {
      font: inherit;
    }
 
    body {
      display: block;
      font-family: system-ui, -apple-system, Segoe UI, Roboto, Ubuntu, Cantarell, Noto Sans, sans-serif;
      font-size: 14px;
      line-height: 1.4;
      font-weight: 400;
      background: #f0f2f5;
      -webkit-text-size-adjust: 100%;
      -moz-text-size-adjust: 100%;
      -ms-text-size-adjust: 100%;
      -webkit-font-smoothing: subpixel-antialiased;
    }
 
    .h1 {
      margin-bottom: 10px;
      font-weight: normal;
    }
 
    .container {
      display: flex;
      align-items: center;
      justify-content: center;
      height: 100%;
    }
 
    .item {
      min-width: 0;
      max-width: 500px;
      padding: 25px 25px 100px 25px;
    }
  </style>
</head>
<body>
<div class="container">
  <div class="item">
    <h1 class="h1">Защита от роботов</h1>
    <p style="margin-bottom: 15px;">
      Вы попали сюда, вероятно, потому что с вашего ip адреса было сделано слишком много запросов к сайту за
      единицу времени.
    </p>
    <form name="uaprom-form" action="/check_captcha" method="POST">
      <div class="g-recaptcha" data-sitekey="6LdbfxIUAAAAAN6WYJWiCT4Vd65-0lP1tTOUKZ48"
           data-callback="reCaptchaCallback"></div>
      <br/>
      <input type="hidden" value="aHR0cDovL3plcm9udGV4dGlsZS5jb20udWEvcDEwNzE4MDA5NzAtcG9sb3RlbnRzZS1kbHlhLWtyZXNjaGVuaXlhLmh0bWxnrexj0hqr-1fABlEPibfEXQxaqB6qQCzEdIBrzXQ3-g==" name="url" />
    </form>
    <img src="/captcha.gif" style="display: none;" alt="captcha" />
  </div>
</div>
</body>

Это решаемо?