[Поддержка] SimplePars - Универсальный парсер для ИМ

[Dmitry76]

6 минут назад, Rassol2 сказал:

Добавит к существующим новые.
Вы же сами цитируете настройку "не очищать ссылки на товары" это значит ровно то как написано.
 

 Спасибо. Тогда отлично!

[Rassol2]

2 минуты назад, Dmitry76 сказал:

 Спасибо. Тогда отлично!

не за что. 
Всего доброго.

[Dmitry76]

23 минуты назад, Rassol2 сказал:

не за что. 
Всего доброго.

Тех. поддержка этого модуля - всегда самая оперативная! Спасибо Вам за Ваш труд!

[amd4]

39 минут назад, partshez сказал:

Обратите внимание. В словарике вначале ставьте перевод для словосочетания ручка-карандаш. А следующие правила для слова ручка и отдельно для слова карандаш. Иначе будут проблемы

Точно. Спасибо. Учту.  

[Rassol2]

17 минут назад, Dmitry76 сказал:

Тех. поддержка этого модуля - всегда самая оперативная! Спасибо Вам за Ваш труд!

Всегда пожайлуста.
Стараюсь. Хоть последнее время работы становится все больше и больше.

[Mixxxa163]

Добрый день,

 

Необходимо настроить и сделать парсинг с сайта - донора этим модулем. Предлы в лс.

[ZevZ]

Подскажите, как лучше фильтровать товары, которые не нужно парсить?

Через допуск к обработке или как то еще можно?

[partshez]

1 час назад, ZevZ сказал:

Подскажите, как лучше фильтровать товары, которые не нужно парсить?

Через допуск к обработке или как то еще можно?

Лучше на этапе сбора ссылок на товар. 

Что должно быть в url товара. Или не должно быть

Змінено 10 квітня 2021 користувачем partshez

[ZevZ]

12 минут назад, partshez сказал:

Лучше на этапе сбора ссылок на товар. 

Что должно быть в url товара. Или не должно быть

Парсю с карты сайта, там прямые ссылки на товары, однородные. Просто нужно отсеить некоторые позиции, которые не будут продаваться на сайте.

[partshez]

1 час назад, ZevZ сказал:

Парсю с карты сайта, там прямые ссылки на товары, однородные. Просто нужно отсеить некоторые позиции, которые не будут продаваться на сайте.

В Парсинг в ИМ. Правила обработки страниц. Создайте правила обработки страниц. Например, прозводителя А не обрабатывать. Или если в названии товара есть слово ДИВАН, такую ссылку не обрабатывать. Правил может быть сколько угодно

Или же если слово Диван есть в названии, эту ссылку обрабатывать

Змінено 10 квітня 2021 користувачем partshez

[ZevZ]

8 часов назад, partshez сказал:

В Парсинг в ИМ. Правила обработки страниц. Создайте правила обработки страниц. Например, прозводителя А не обрабатывать. Или если в названии товара есть слово ДИВАН, такую ссылку не обрабатывать. Правил может быть сколько угодно

Или же если слово Диван есть в названии, эту ссылку обрабатывать

Спасибо.

А если из списка ссылок для парсинга удалить ссылки, они опять спарсятся?

[partshez]

12 минут назад, ZevZ сказал:

Спасибо.

А если из списка ссылок для парсинга удалить ссылки, они опять спарсятся?

При сборе ссылок заново спарсятся. Если не запускать сбор ссылок, будут обработаны только из списка ссылок на товар. Т.е. те, которые Вы не удалили

[Dmitry76]

В 09.04.2021 в 18:51, Rassol2 сказал:

Добавит к существующим новые.
Вы же сами цитируете настройку "не очищать ссылки на товары" это значит ровно то как написано.
 

Если среди новых ссылок, будут такие же как уже были в списке, то парсер не поставит эти дубли? Т.е. 2 раза по одним и тем же ссылкам не будет вестись парсинг? А то у меня как-то странно получилось при сборе ссылок новых... К существующим, добавилось еще 95% по количеству

Змінено 10 квітня 2021 користувачем Dmitry76

[Rassol2]

10 часов назад, Dmitry76 сказал:

Если среди новых ссылок, будут такие же как уже были в списке, то парсер не поставит эти дубли? Т.е. 2 раза по одним и тем же ссылкам не будет вестись парсинг? А то у меня как-то странно получилось при сборе ссылок новых... К существующим, добавилось еще 95% по количеству

Здравствуйте.
нет не добавится, в модуле не могут быть дубли ссылок. Они отсеиваются на уровне базы данных.
Двух одинаковых ссылок не будет.

[specialforce22]

Здравствуйте!

Вопрос к понедельнику - рабочему дню))

 

Просьба подсказать по разбору xml-фида 

Вот сама ссылка - https://krd.kassir.ru/frame/feed/xml?key=7375d954-00eb-8242-de6c-4e0815f897df

 

1. Вот я получил блок товара

Вижу есть категория - <venue>1771</venue>

Дата начала и окончания события -  

   <date>
        <start>2021-04-21 19:00:00</start>
        <end>2021-04-21 20:00:00</end>
      </date>

!=========================================================== Товар №286 ========================================================!

<item>
      <id>1095183</id>
      <action>91418</action>
      <venue>1780</venue>
      <hall>318240</hall>
      <name>ЗАТОЧКА</name>
      <url><![CDATA[https://krd.kassir.ru/frame/entry/index?type=E&id=1095183&key=7375d954-00eb-8242-de6c-4e0815f897df]]></url>
      <date>
        <start>2021-05-30 20:00:00</start>
        <end>2021-05-30 21:00:00</end>
      </date>
      <sell_till_end>0</sell_till_end>
      <age>18+</age>
      <special></special>
      <special_tip></special_tip>
      <description><![CDATA[]]></description>
      <poster>https://cdn.kassir.ru/krd/poster/0a/0acec34a8ca7abd12365101c36988a95.jpg</poster>
      <horizontal_poster>https://cdn.kassir.ru/krd/horizontal/9f/9f2ff2a38cd2c1a7b99645f49241cd00.jpg</horizontal_poster>
      <price_min>1000</price_min>
      <price_max>2000</price_max>
      <eticket>1</eticket>
      <available_tickets>123</available_tickets>
      <core_id>1095183</core_id>
      <duration></duration>
      <intermission></intermission>
    </item>

!=========================================================== Товар №287 ========================================================!

2. Перехожу в настройку парсинга, чтобы задать границы, но не вижу ни границы категории, ни дат и прочее

  <item>
      <id>38161</id>
      <name>Пошлая Молли</name>
      <url><![CDATA[https://krd.kassir.ru/frame/entry/index?type=A&id=38161&key=7375d954-00eb-8242-de6c-4e0815f897df]]></url>
      <multi>1</multi>
      <description><![CDATA[<p>Молодые звёзды рок-н-ролла ПОШЛАЯ МОЛЛИ едут в Краснодар со своим новым альбомом! Не пропусти это событие, иначе со слезами на глазах будешь смотреть сторис своих друзей и жалеть, что не побывал на мега вечерине этих долбанутых на всю голову пацанов!<br /><br />Шоу обещает быть по истине незабываемым. Свет, мощный звук, слэм, старые хиты и новые хиты и хитовые хиты &mdash; и все это только ради того, чтобы оставить яркую вспышку в твоей памяти на всю жизнь, мой милый друг.</p><p>Организатор:</p><p>ООО "СОЛДАУТ"</p><p>Юридический адрес: г. Ярославль, ул. Большая Техническая, д. 14, кв. 275</p><p>ИНН: 7604358225</p>]]></description>
      <poster>https://cdn.kassir.ru/krd/poster/a3/a38b9b0f1fff1914ca9dd40dd2a36600.jpg</poster>
      <horizontal_poster>https://cdn.kassir.ru/krd/horizontal/b2/b2f36fff803359edeea9b681dfd003fa.jpg</horizontal_poster>
      <category>Концерт</category>
      <category_id>3000</category_id>
      <subcategory></subcategory>
      <special></special>
      <special_tip></special_tip>
      <available_tickets>195</available_tickets>
      <intermission></intermission>
      <duration></duration>
    </item>

 

Что делаю не так?

Спасибо!

[Rassol2]

20 минут назад, specialforce22 сказал:

Что делаю не так?

Спасибо!

Здравствуйте.
Вас не смущает тот факт что вы смотрите на совершенно разные блоки?
 

Спойлер

Мне кажет это и есть причина.

[specialforce22]

49 минут назад, Rassol2 сказал:

Здравствуйте.
Вас не смущает тот факт что вы смотрите на совершенно разные блоки?

Мне кажет это и есть причина.

 

Блн, я думал все товары одинаковые...а теперь присмотрелся, действительно часть товаров в фиде идет нормально, а часть урезанная.

Хотел всё подцепить из XML

Придется, как прежде, в два этапа:

1. Всю информацию парсить с сайта;

2. Партнерскую ссылку грузить из xml

Так то всё круто и быстро, но хотелось идеала в одно окно))

Эх, а щастье было рядом)))

Благодарю!

[Rassol2]

1 минуту назад, specialforce22 сказал:

 

Блн, я думал все товары одинаковые...а теперь присмотрелся, действительно часть товаров в фиде идет нормально, а часть урезанная.

Хотел всё подцепить из XML

Придется, как прежде, в два этапа:

1. Всю информацию парсить с сайта;

2. Партнерскую ссылку грузить из xml

Так то всё круто и быстро, но хотелось идеала в одно окно))

Эх, а щастье было рядом)))

Благодарю!

так скопируйте проект.
Настройте на один тип.
Второй на второй.
И через допуски к парсингу отсейте в первом проекте страницы второго типа, а во втором страницы первого.

И вот у вас два проект могут грузить все с xml

[IceDesignKh]

Добрый день, сначала спасибо за создание такого модуля! Работает отлично) 

Но вот проблема при импорте картинок возникла, спарсили уже 22 000 товаров.. И есть некоторые с вот таким дефектом фото либо фото вообще не спарсило.

 

 

Как быть в такой ситуации? Я хотел запустить парсинг заново указав в настройках (Обновлять и удалить старые [Внимание!!! Старые фото товара будут удалены с сервера])
Но мы уже изменили SKU и Model, оно на создавало кашу.. Есть еще способ перепарсить фото ? И почему вообще так получилось?

[Rassol2]

1 час назад, IceDesignKh сказал:

Но мы уже изменили SKU и Model, оно на создавало кашу.. Есть еще способ перепарсить фото ? И почему вообще так получилось?

Почему так получилось я не могу сказать потому что я не вижу на скриншооте проблем.
А вот все ответы по парсингу всегда есть в логах. Смотрите и видите что спарсилось, а что нет, и почему.

Как перепарсить фото, запустить повторно парсинг. Но если вы поменяли артикула, то есть поменяли идентификаторы. Тогда меняете обратно и запускаете.
на будущие если нужно менять идентификаторы их у вас может быть 9 вы можете одно и тоже значение записать в артикул и в UPC
и при необходимости поменять значение в артикуле, но при этом в upc оставить и при повторном парсинге использовать его как идентификатор.

[Mixxxa163]

Здравствуйте,

 

Модуль может парсить вложения? (Pdf, видео)?

[Rassol2]

2 минуты назад, Mixxxa163 сказал:

Здравствуйте,

 

Модуль может парсить вложения? (Pdf, видео)?

Здравствуйте.
Нет перекачать пдф к вам на сайт не может.
Может только указать ссылку на файл на сайт доноре.

Видео с ютуба переносятся вместе с кодом тут проблем нет.
 

[ksm1281]

Добрый день. Собрал ссылки настроил сначала было все ок. Потом донор закрыл доступ к страницы с светит только часть кода где нет нужной информации как следствие никакие границы не работают.  Как выйти с ситуации? Извините пишу первый раз может не по правилам...

[partshez]

5 минут назад, ksm1281 сказал:

Добрый день. Собрал ссылки настроил сначала было все ок. Потом донор закрыл доступ к страницы с светит только часть кода где нет нужной информации как следствие никакие границы не работают.  Как выйти с ситуации? Извините пишу первый раз может не по правилам...

https://simplepars.top/index.php?page=notes&tag_id=21

Читайте, изучайте, используйте в работе

[yurok79]

#[url]https://******tile.com.ua/p1071800970-polotentse-dlya-krescheniya.html[/url]
<!DOCTYPE html>
<html lang="en-US">
<head>
  <title>Защита от роботов</title>
  <meta name="viewport" content="width=device-width, initial-scale=1.0, minimum-scale=1.0, maximum-scale=1.0">
  <link rel="shortcut icon" href="https://static-cache.ua.uaprom.net/favicon.ico"/>
  <script>
    function reCaptchaCallback(response) {
      if (response === document.querySelector(".g-recaptcha-response").value) {
        document.forms["uaprom-form"].submit();
      }
    }
  </script>
  <script src="https://www.google.com/recaptcha/api.js?hl=ru" async
          defer></script>
  <style>
    * {
      padding: 0;
      margin: 0;
    }
 
    html, body {
      height: 100%;
      box-sizing: border-box;
      overflow: hidden;
    }
 
    button, input {
      font: inherit;
    }
 
    body {
      display: block;
      font-family: system-ui, -apple-system, Segoe UI, Roboto, Ubuntu, Cantarell, Noto Sans, sans-serif;
      font-size: 14px;
      line-height: 1.4;
      font-weight: 400;
      background: #f0f2f5;
      -webkit-text-size-adjust: 100%;
      -moz-text-size-adjust: 100%;
      -ms-text-size-adjust: 100%;
      -webkit-font-smoothing: subpixel-antialiased;
    }
 
    .h1 {
      margin-bottom: 10px;
      font-weight: normal;
    }
 
    .container {
      display: flex;
      align-items: center;
      justify-content: center;
      height: 100%;
    }
 
    .item {
      min-width: 0;
      max-width: 500px;
      padding: 25px 25px 100px 25px;
    }
  </style>
</head>
<body>
<div class="container">
  <div class="item">
    <h1 class="h1">Защита от роботов</h1>
    <p style="margin-bottom: 15px;">
      Вы попали сюда, вероятно, потому что с вашего ip адреса было сделано слишком много запросов к сайту за
      единицу времени.
    </p>
    <form name="uaprom-form" action="/check_captcha" method="POST">
      <div class="g-recaptcha" data-sitekey="6LdbfxIUAAAAAN6WYJWiCT4Vd65-0lP1tTOUKZ48"
           data-callback="reCaptchaCallback"></div>
      <br/>
      <input type="hidden" value="aHR0cDovL3plcm9udGV4dGlsZS5jb20udWEvcDEwNzE4MDA5NzAtcG9sb3RlbnRzZS1kbHlhLWtyZXNjaGVuaXlhLmh0bWxnrexj0hqr-1fABlEPibfEXQxaqB6qQCzEdIBrzXQ3-g==" name="url" />
    </form>
    <img src="/captcha.gif" style="display: none;" alt="captcha" />
  </div>
</div>
</body>

Это решаемо?