[Поддержка] SimplePars - Универсальный парсер для ИМ

[Malciska]

2 часа назад, Mixxxa163 сказал:

была такая мысль, но не понятно как привязаться. у второго проекта я настрою границу для цены а как ее в первый перенести...

 

Вам не надо связывать проекты  у вас привязка должна быть к товарам.

Товар "Булочка с вареньем"  код товара "Бу31123" , бар код  4564564563

Индификаторы товаров в разных проектах должны совпадать. По ним и настройте связку при парсинге.

 

[yurok79]

В 03.05.2021 в 10:45, yurok79 сказал:

А подскажите кто-нибудь где брать прокси нормальные. Пробовал и покупать и бесплатные, не проходят проверку почему то. Вот лог. Список проверенных пуст.

 

2021-05-03 07:39:46| Парсинг : ОШИБКА ответа | Прокси = [172.67.181.115:80] | Код ответа = 56 | Текст ответа = Received HTTP code 400 from proxy after CONNECT | Ссылка - https://sport07.ru/store/konki-transformery-zima-leto/konki-transformery-best-blue/
2021-05-03 07:40:56| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 192.46.220.28 port 80: No route to host ] | Прокси = [ 192.46.220.28:80 ]
2021-05-03 07:40:56| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 172.105.181.48 port 80: No route to host ] | Прокси = [ 172.105.181.48:80 ]
2021-05-03 07:40:56| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.182.90:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.181.91:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.182.147:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.182.144:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.181.21:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.181.2:80 ]
2021-05-03 07:40:58| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.181.115:80 ]
2021-05-03 07:41:57| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 192.46.220.28 port 80: No route to host ] | Прокси = [ 192.46.220.28:80 ]
2021-05-03 07:41:57| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 172.105.181.48 port 80: No route to host ] | Прокси = [ 172.105.181.48:80 ]

 

Подскажите по прокси, кто где берет. Какую страну лучше? ipv4 или 6? Примерное количество.

[Rassol2]

1 час назад, strateg2010 сказал:

Вопрос, умеет модуль парсить данные в кастомные поля таблиц БД? например добавил в oc_product_description свое поле importer.

Возможны ли условия к товарам? Допустим если кол-во -1 выключать товар иначе записать кол-во и включить товар и т.д?

И возможна адаптация под модуль HPM?

Нет кастомные поля не поддерживаются.
будут доступны с появления собственных скриптов. А там можно будет уже все что угодно дописывать.

[Rassol2]

39 минут назад, yurok79 сказал:

Подскажите по прокси, кто где берет. Какую страну лучше? ipv4 или 6? Примерное количество.

Я негде не беру. Редко нада, обхожусь бесплатными.
Но если брать то ip4, так как с ipv6 есть проблемы.

[partshez]

3 часа назад, Mixxxa163 сказал:

была такая мысль, но не понятно как привязаться. у второго проекта я настрою границу для цены а как ее в первый перенести...

Не переносить. Запускать отдельно второй проект только при необходимости обновления цены. Например, через крон по расписанию

Змінено 4 травня 2021 користувачем partshez

[Rassol2]

1 час назад, Axelenz сказал:

Запишите, как у меня.

Первое - до 10, второе условие - до 100.

 

  Показать контент

{reg[#\d{3,}#]}

если на обычный язык перевести, то это означает, что проходят проверку только данные, которые состоят из цифр в количестве от 3-х шт. Т.е. больше 100 и 100 проходит проверку, а 99 уже не проходит...

Уже как то рассказывал как это делать более гибко.
Запоминайте. @Axelenz @yurok79

Берем границу парсинга с цифрами, в вашем случаи цена. И делаем на нее наценку в нужном диапазоне.
Допустим вам нужно брать только цены больше 76руб.
Значим делаем наценку

(0-76)*0
 

Спойлер

А в проверке допуска ставим, допускать страницы где цена не равна 0
Таким образом вы можете делать любые диапазоны цен.

Можно даже сделать так
грузить товар ценой от 76 до 85 , так же грузить только товары с ценой от 1444 до 1788
Остальные нет.

Вот так в допусках можно разрулить допуск товара с любым диапазоном цен.

[Rassol2]

Забыл добавить, вся хитрость в том что при умножении на ноль мы всегда имеем 0 в ответе.
А значить мы можем неугодные нам цифры умножать на 0 и проверять границу на присутствие или отсутствие этого значения.
В зависимости от нашего интереса.

[lololod3]

Добрый день. 
Собираю ссылки с сайта https://www.santehnica.ru/ , КОД ОТВЕТА 200 , но ничего не собирает.
В чём может быть проблема.
Cookies прописал...

[Rassol2]

Только что, lololod3 сказал:

Добрый день. 
Собираю ссылки с сайта https://www.santehnica.ru/ , КОД ОТВЕТА 200 , но ничего не собирает.
В чём может быть проблема.
Cookies прописал...

Здравствуйте.
Если фильтры не мешают. То есть проблема не в указанных настройках.
тогда вставьте эту ссылку в настройки границ и посмотрите, что там в коде. Возможно вам донор отдает страницу где нет ссылок.

[lololod3]

24 минуты назад, Rassol2 сказал:

Здравствуйте.
Если фильтры не мешают. То есть проблема не в указанных настройках.
тогда вставьте эту ссылку в настройки границ и посмотрите, что там в коде. Возможно вам донор отдает страницу где нет ссылок.

Спойлер

#[url]https://www.santehnica.ru/[/url]
HTTP/1.1 200 OK
Server: nginx
Date: Tue, 04 May 2021 11:51:44 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Expires: Thu, 01 Jan 1970 00:00:01 GMT
gg: 0 /
x-host: santehnica.ru
access-control-allow-origin: *.santehnica.ru
Cache-Control: no-transform
Strict-Transport-Security: max-age=31536000; includeSubdomains; preload
X-Frame-Options: SAMEORIGIN
uutroep: 113
 
<html>
<title>Santehnica.ru — Captcha</title>
<body onload="challenge();">
 
<!-- Yandex.Metrika counter -->
<script type="text/javascript" >
   (function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
   m[i].l=1*new Date();k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
   (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");
 
   ym(40771, "init", {
        clickmap:true,
        trackLinks:true,
        accurateTrackBounce:true,
        webvisor:true,
        trackHash:true,
        ecommerce:"dataLayer"
   });
</script>
<noscript><div><img src="https://mc.yandex.ru/watch/40771" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
<!-- /Yandex.Metrika counter -->
 
<script>
  (function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){
  (i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*new Date();a=s.createElement(o),
  m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)
  })(window,document,'script','//www.google-analytics.com/analytics.js','ga');
 
  ga('create', 'UA-45882495-1', 'santehnica.ru');
  ga('send', 'pageview');
 
  if (document.title.search(/Ошибка 404. Страница не найдена /i) !== -1) {
  ga('send', 'event', 'Error', '404', 'page: ' + document.location.pathname + document.location.search + ' ref: ' + document.referrer, {'nonInteraction': 1});
  };
</script>
 
<script type="text/javascript">
var yaParams = {/*Здесь параметры визита*/};
</script>
 
<script type="text/javascript">
function ct(w,d,e,c){
var a='all',b='tou',src=b+'c'+'h';src='m'+'o'+'d.c'+a+src;
var jsHost="https://"+src,s=d.createElement(e),p=d.getElementsByTagName(e)[0];
s.async=1;s.src=jsHost+"."+"r"+"u/d_client.js?param;"+(c?"client_id"+c+";":"")+"ref"+escape(d.referrer)+";url"+escape(d.URL)+";cook"+escape(d.cookie)+";";
p.parentNode.insertBefore(s,p);
if(!w.jQuery){var jq=d.createElement(e);
jq.src=jsHost+"."+"r"+'u/js/jquery-1.7.min.js';
p.parentNode.insertBefore(jq,p);}}
if(!!window.GoogleAnalyticsObject){window[window.GoogleAnalyticsObject](function(tracker){
if (!!window[window.GoogleAnalyticsObject].getAll()[0])
{ct(window,document,'script', window[window.GoogleAnalyticsObject].getAll()[0].get('clientId'))}
else{ct(window,document,'script', null);}});
}else{ct(window,document,'script', null);}
</script>
 
<script>
eval(function(p,a,c,k,e,r){e=function(c){return c.toString(a)};if(!''.replace(/^/,String)){while(c--)r[e(c)]=k[c]||e(c);k=[function(e){return r[e]}];e=function(){return'\\w+'};c=1};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p}('1 6(){2.3=\'4=5; 0-7=8; 9=/\';a.b.c()}',13,13,'max|function|document|cookie|_ym_isao|f16c0860aee0665d0908b0a18c36840d75ecb71d|challenge|age|6000|path|window|location|reload'.split('|'),0,{}))
</script>
 
</body>
</html>

 

Сайт донор не выдаёт контент. Как исправить?

[Rassol2]

5 минут назад, lololod3 сказал:

Сайт донор не выдаёт контент. Как исправить?

Тут я не подскажу.
Пробуйте подставлять разные данные в запрос что бы определить причину и обойти.

[yurok79]

А почему может не принимать прокси? Покупали в 2-х разных местах. Записывали по разному. Все равно ошибка соединения Failed to connect при проверке чеккером.

[Rassol2]

8 минут назад, yurok79 сказал:

А почему может не принимать прокси? Покупали в 2-х разных местах. Записывали по разному. Все равно ошибка соединения Failed to connect при проверке чеккером.

а может у вас хостинг не разрешает исходящие соединения по не стандартным портам.
Как вариант
Об этом кстати есть в инструкции.

[Axelenz]

2 часа назад, Rassol2 сказал:

Уже как то рассказывал как это делать более гибко.

Не факт... )

У меня в одном постоянном проекте около полусотни проверок как по цифрам, так и по не нужным категориям, запрещённым словам в наименовании, которые находятся все в одном месте, а именно в "Настройки допуска к обработке страницы" и плюс клиент может сказать, что на этот раз граница не 100, а 10 или на этот раз пару категорий пропускаем... Поэтому лично мне вариант с разбрасыванием проверок по всему проекту ну никак...

Я даже наоборот, выступаю за модульность. Чтобы всё что касается какой-то конкретной операции, например, проверки или замены, было максимально сфокусировано именно в этом блоке. Дабы избежать в дальнейшем не нужных вопросов: "почему у меня не работает" и "ой, а я то совсем забыл что оно у меня там стоит..." )

 

Спойлер

 

Змінено 4 травня 2021 користувачем Axelenz

[Rassol2]

8 минут назад, Axelenz сказал:

Не факт... )

У меня в одном постоянном проекте около полусотни проверок как по цифрам, так и по не нужным категориям, запрещённым словам в наименовании, которые находятся все в одном месте, а именно в "Настройки допуска к обработке страницы" и плюс клиент может сказать, что на этот раз граница не 100, а 10 или на этот раз пару категорий пропускаем... Поэтому лично мне вариант с разбрасыванием проверок по всему проекту ну никак...

 

  Показать контент

 

Может вам так удобнее, я рассказал о варианте с цифрами.

Ваш вариант будет тяжело реализуем в условиях если нужно все товары ценой от 557руб до 755 руб.

Само наличие такого кол-ва правил допуска вызывает у меня вопрос. Все ли я правильно продумал.
А вообще у многих собирается много правил допуска?

Мне интересно как эту функцию начали юзать.

[Axelenz]

33 минуты назад, Rassol2 сказал:

Само наличие такого кол-ва правил допуска вызывает у меня вопрос. Все ли я правильно продумал.

И спасибо Вам за такую возможность. Раньше я всё это делал в Excel, но ручной труд это скучно, поэтому я всё по самому максимуму переношу в проект один раз и навсегда. Зачем делать повторяющиеся действия, если это можно сразу задать при парсинге.

А количество большое потому, что у клиента такой запрос, фильтровать Наименование на наличие запрещённых слов... и список слов.

Не загружать некоторые категории и список категорий из более 600 всего категорий на сайте-доноре.

Поэтому меньше ну никак не получается...

 

Но может и можно как-то это всё сделать так, чтобы группировать можно было ? Не говорю про текстовый файл, а именно, чтобы всё запустить в один столбец, построчно ?

Змінено 4 травня 2021 користувачем Axelenz

[Rassol2]

6 минут назад, Axelenz сказал:

И спасибо Вам за такую возможность. Раньше я всё это делал в Excel, но ручной труд это скучно, поэтому я всё по самому максимуму переношу в проект один раз и навсегда. Зачем делать повторяющиеся действия, если это можно сразу задать при парсинге.

А количество большое потому, что у клиента такой запрос, фильтровать Наименование на наличие запрещённых слов... и список слов.

Не загружать некоторые категории и список категорий из более 600 всего категорий на сайте-доноре.

Поэтому меньше ну никак не получается...

 

Но может и можно как-то это всё сделать так, чтобы группировать можно было ? Не говорю про текстовый файл, а именно, чтобы всё запустить в один столбец, построчно ?

Я наверное не совсем понимаю вашу задачу.
Но я бы сделал так.

1. Граница это наименование.
2. Это категории.

А в поиск замену засунул правила.
Видишь определенное слово в имени. Заменяем его на Rassol2 в правиле указал, видишь в имени Rassol2 не загружай.

Мне так проще.
Единственная разница с вашим подходом, заключается в том что нельзя отключать правила нужно в поиск замене а не в правилах допуска.
Да и мне для визуализации так удобнее.

То же самое касается категорий.

[Axelenz]

3 часа назад, Rassol2 сказал:

Я наверное не совсем понимаю вашу задачу.

У меня там никак не меньше разных правил... Поэтому не хочу все яйца класть в одно лукошко )

----------------------------------------------------------------------

Из разряда хотелок...

Иногда по ходу пьесы получается, что создаются разные границы в качестве вспомогательных или для опытов... а потом забывается, что реально задействовано и необходимо, а что уже можно удалить, чтобы не захламлять проект. Так вот было бы не плохо, если бы можно было визуально отличать границы, которые реально задействованы в проекте от тех, которые не используются (при парсинге в ИМ или CSV)... Да, если их десяток, то можно и так удалить, но если их сотня ? Может с помощью выделения или наклонным или меньшим шрифтом или в тумане... не знаю как, но чтобы было понятно, что эта граница нигде не используется в проекте и может быть при желании удалена или вообще кнопка типа "очистить проект от не задействованных границ", но это уже слишком... думаю, что это избыточно и может быть даже не желательно...

[Rassol2]

1 час назад, Axelenz сказал:

У меня там никак не меньше разных правил... Поэтому не хочу все яйца класть в одно лукошко )

----------------------------------------------------------------------

Из разряда хотелок...

Иногда по ходу пьесы получается, что создаются разные границы в качестве вспомогательных или для опытов... а потом забывается, что реально задействовано и необходимо, а что уже можно удалить, чтобы не захламлять проект. Так вот было бы не плохо, если бы можно было визуально отличать границы, которые реально задействованы в проекте от тех, которые не используются (при парсинге в ИМ или CSV)... Да, если их десяток, то можно и так удалить, но если их сотня ? Может с помощью выделения или наклонным или меньшим шрифтом или в тумане... не знаю как, но чтобы было понятно, что эта граница нигде не используется в проекте и может быть при желании удалена или вообще кнопка типа "очистить проект от не задействованных границ", но это уже слишком... думаю, что это избыточно и может быть даже не желательно...

Может быть когда то. Сейчас это из разряда фантастики.
Но все может быть реализовано позже.

[Rassol2]

Обновление v4.4-4_beta

Рекомендуется обновится всем у кого версии модуля 4.4-2 и 4.4-3
найден бог из за которого модуль на этих двух версиях может не собирать ссылки корректно.
За найденный баг спасибо @Kiyoshi

 

[yurok79]

Подскажите как реализовать.

Фото товаров выводится в 2-х вариантах:

1. Одно фото - отдельная граница парсинга со своими настройками {gran5}

2. Галерея - у каждого фото свои отдельные настройки всего 4 фото-4 границы.

Там где настройки парсинга для галереи прописано {gran1}{gran2}{gran3}{gran4}

 

Как прописать что если данные границы пустые выводить {gran5}?

 

Если просто прописываю {gran1}{gran2}{gran3}{gran4}{gran5} то там где галерея получается "битое" фото. 

 

Есть вариант прогнать потом парсинг еще раз с границой для одиночного фото, но сайт банит безбожно.

[partshez]

38 минут назад, yurok79 сказал:

Подскажите как реализовать.

Фото товаров выводится в 2-х вариантах:

1. Одно фото - отдельная граница парсинга со своими настройками {gran5}

2. Галерея - у каждого фото свои отдельные настройки всего 4 фото-4 границы.

Там где настройки парсинга для галереи прописано {gran1}{gran2}{gran3}{gran4}

 

Как прописать что если данные границы пустые выводить {gran5}?

 

Если просто прописываю {gran1}{gran2}{gran3}{gran4}{gran5} то там где галерея получается "битое" фото. 

 

Есть вариант прогнать потом парсинг еще раз с границой для одиночного фото, но сайт банит безбожно.

Границы прописывать через разделитель обязательно, у Вас одна за другой. Посмотрите инструкцию автора.

Если донор банит, вначале соберите страницы в кеш. Потом гоняйте хоть 100 раз в 5 потоков с разными настройками. Например, за один проход добавлять одно фото или только галерею. После окончания удалите кеш

Змінено 5 травня 2021 користувачем partshez

[yurok79]

21 минуту назад, partshez сказал:

Границы прописывать через разделитель обязательно,

Я так понимаю разделитель {|} это когда или-или. У меня же идет 4 фото подряд и только если их нет 5-е через или нужно. Границы 1-4 можно в скобки взять и написать:

({gran1}{gran2}{gran3}{gran4}){|}{gran5}

[Rassol2]

1 минуту назад, yurok79 сказал:

Я так понимаю разделитель {|} это когда или-или. У меня же идет 4 фото подряд и только если их нет 5-е через или нужно. Границы 1-4 можно в скобки взять и написать:

({gran1}{gran2}{gran3}{gran4}){|}{gran5}

Откуда вы такое берет ?
Вот же в инструкции четко написано что является разделителем!
https://simplepars.top/index.php?page=note&n=22

[yurok79]

То есть между границами мне нужно прописать {csvnc}, но все работает и без него вроде. {csvnc} у меня прилеплено к ссылке на фото через поиск и замену (Добавить в начале). Просто каждое фото у меня отдельной границей. Или там его убрать и прописать разделитель уже в настройках парсинга?

Так?

{gran1}{csvnc}{gran2}{csvnc}{gran3}{csvnc}{gran4}

 

А как тогда записать что если не эти 4 то нужно парсить 5-ю? И не получались битые фотки.

Змінено 5 травня 2021 користувачем yurok79