Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

2 часа назад, Mixxxa163 сказал:

была такая мысль, но не понятно как привязаться. у второго проекта я настрою границу для цены а как ее в первый перенести...

 

Вам не надо связывать проекты :) у вас привязка должна быть к товарам.

Товар "Булочка с вареньем"  код товара "Бу31123" , бар код  4564564563

Индификаторы товаров в разных проектах должны совпадать. По ним и настройте связку при парсинге.

 

  • +1 2
Надіслати
Поділитися на інших сайтах


В 03.05.2021 в 10:45, yurok79 сказал:

А подскажите кто-нибудь где брать прокси нормальные. Пробовал и покупать и бесплатные, не проходят проверку почему то. Вот лог. Список проверенных пуст.

 


2021-05-03 07:39:46| Парсинг : ОШИБКА ответа | Прокси = [172.67.181.115:80] | Код ответа = 56 | Текст ответа = Received HTTP code 400 from proxy after CONNECT | Ссылка - https://sport07.ru/store/konki-transformery-zima-leto/konki-transformery-best-blue/
2021-05-03 07:40:56| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 192.46.220.28 port 80: No route to host ] | Прокси = [ 192.46.220.28:80 ]
2021-05-03 07:40:56| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 172.105.181.48 port 80: No route to host ] | Прокси = [ 172.105.181.48:80 ]
2021-05-03 07:40:56| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.182.90:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.181.91:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.182.147:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.182.144:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.181.21:80 ]
2021-05-03 07:40:57| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.181.2:80 ]
2021-05-03 07:40:58| !-> PROXY CHECKER | ОТВЕТ HTTP | Номер ответа http = 409 | Прокси = [ 172.67.181.115:80 ]
2021-05-03 07:41:57| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 192.46.220.28 port 80: No route to host ] | Прокси = [ 192.46.220.28:80 ]
2021-05-03 07:41:57| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 7 | Сообщение об ошибке = [ Failed to connect to 172.105.181.48 port 80: No route to host ] | Прокси = [ 172.105.181.48:80 ]

 

Подскажите по прокси, кто где берет. Какую страну лучше? ipv4 или 6? Примерное количество.

Надіслати
Поділитися на інших сайтах


1 час назад, strateg2010 сказал:

Вопрос, умеет модуль парсить данные в кастомные поля таблиц БД? например добавил в oc_product_description свое поле importer.

Возможны ли условия к товарам? Допустим если кол-во -1 выключать товар иначе записать кол-во и включить товар и т.д?

И возможна адаптация под модуль HPM?

Нет кастомные поля не поддерживаются.
будут доступны с появления собственных скриптов. А там можно будет уже все что угодно дописывать.

Надіслати
Поділитися на інших сайтах

39 минут назад, yurok79 сказал:

Подскажите по прокси, кто где берет. Какую страну лучше? ipv4 или 6? Примерное количество.

Я негде не беру. Редко нада, обхожусь бесплатными.
Но если брать то ip4, так как с ipv6 есть проблемы.

Надіслати
Поділитися на інших сайтах

3 часа назад, Mixxxa163 сказал:

была такая мысль, но не понятно как привязаться. у второго проекта я настрою границу для цены а как ее в первый перенести...

Не переносить. Запускать отдельно второй проект только при необходимости обновления цены. Например, через крон по расписанию

Змінено користувачем partshez
Надіслати
Поділитися на інших сайтах


1 час назад, Axelenz сказал:

Запишите, как у меня.

Первое - до 10, второе условие - до 100.

 

  Показать контент

image.thumb.png.052e9f5df0e4a5f594747688931c8a59.png

{reg[#\d{3,}#]}

если на обычный язык перевести, то это означает, что проходят проверку только данные, которые состоят из цифр в количестве от 3-х шт. Т.е. больше 100 и 100 проходит проверку, а 99 уже не проходит...

Уже как то рассказывал как это делать более гибко.
Запоминайте. @Axelenz @yurok79

Берем границу парсинга с цифрами, в вашем случаи цена. И делаем на нее наценку в нужном диапазоне.
Допустим вам нужно брать только цены больше 76руб.
Значим делаем наценку

(0-76)*0
 

Спойлер

ipdanO1.png


А в проверке допуска ставим, допускать страницы где цена не равна 0
Таким образом вы можете делать любые диапазоны цен.

Можно даже сделать так
грузить товар ценой от 76 до 85 , так же грузить только товары с ценой от 1444 до 1788
Остальные нет.

Вот так в допусках можно разрулить допуск товара с любым диапазоном цен.

Надіслати
Поділитися на інших сайтах

Забыл добавить, вся хитрость в том что при умножении на ноль мы всегда имеем 0 в ответе.
А значить мы можем неугодные нам цифры умножать на 0 и проверять границу на присутствие или отсутствие этого значения.
В зависимости от нашего интереса.

Надіслати
Поділитися на інших сайтах

Только что, lololod3 сказал:

Добрый день. 
Собираю ссылки с сайта https://www.santehnica.ru/ , КОД ОТВЕТА 200 , но ничего не собирает.
В чём может быть проблема.
Cookies прописал...

Здравствуйте.
Если фильтры не мешают. То есть проблема не в указанных настройках.
тогда вставьте эту ссылку в настройки границ и посмотрите, что там в коде. Возможно вам донор отдает страницу где нет ссылок.

Надіслати
Поділитися на інших сайтах

24 минуты назад, Rassol2 сказал:

Здравствуйте.
Если фильтры не мешают. То есть проблема не в указанных настройках.
тогда вставьте эту ссылку в настройки границ и посмотрите, что там в коде. Возможно вам донор отдает страницу где нет ссылок.

Спойлер

#[url]https://www.santehnica.ru/[/url]
HTTP/1.1 200 OK
Server: nginx
Date: Tue, 04 May 2021 11:51:44 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Expires: Thu, 01 Jan 1970 00:00:01 GMT
gg: 0 /
x-host: santehnica.ru
access-control-allow-origin: *.santehnica.ru
Cache-Control: no-transform
Strict-Transport-Security: max-age=31536000; includeSubdomains; preload
X-Frame-Options: SAMEORIGIN
uutroep: 113
 
<html>
<title>Santehnica.ru — Captcha</title>
<body onload="challenge();">
 
<!-- Yandex.Metrika counter -->
<script type="text/javascript" >
   (function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
   m[i].l=1*new Date();k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
   (window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");
 
   ym(40771, "init", {
        clickmap:true,
        trackLinks:true,
        accurateTrackBounce:true,
        webvisor:true,
        trackHash:true,
        ecommerce:"dataLayer"
   });
</script>
<noscript><div><img src="https://mc.yandex.ru/watch/40771" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
<!-- /Yandex.Metrika counter -->
 
<script>
  (function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){
  (i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*new Date();a=s.createElement(o),
  m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)
  })(window,document,'script','//www.google-analytics.com/analytics.js','ga');
 
  ga('create', 'UA-45882495-1', 'santehnica.ru');
  ga('send', 'pageview');
 
  if (document.title.search(/Ошибка 404. Страница не найдена /i) !== -1) {
  ga('send', 'event', 'Error', '404', 'page: ' + document.location.pathname + document.location.search + ' ref: ' + document.referrer, {'nonInteraction': 1});
  };
</script>
 
<script type="text/javascript">
var yaParams = {/*Здесь параметры визита*/};
</script>
 
<script type="text/javascript">
function ct(w,d,e,c){
var a='all',b='tou',src=b+'c'+'h';src='m'+'o'+'d.c'+a+src;
var jsHost="https://"+src,s=d.createElement(e),p=d.getElementsByTagName(e)[0];
s.async=1;s.src=jsHost+"."+"r"+"u/d_client.js?param;"+(c?"client_id"+c+";":"")+"ref"+escape(d.referrer)+";url"+escape(d.URL)+";cook"+escape(d.cookie)+";";
p.parentNode.insertBefore(s,p);
if(!w.jQuery){var jq=d.createElement(e);
jq.src=jsHost+"."+"r"+'u/js/jquery-1.7.min.js';
p.parentNode.insertBefore(jq,p);}}
if(!!window.GoogleAnalyticsObject){window[window.GoogleAnalyticsObject](function(tracker){
if (!!window[window.GoogleAnalyticsObject].getAll()[0])
{ct(window,document,'script', window[window.GoogleAnalyticsObject].getAll()[0].get('clientId'))}
else{ct(window,document,'script', null);}});
}else{ct(window,document,'script', null);}
</script>
 
<script>
eval(function(p,a,c,k,e,r){e=function(c){return c.toString(a)};if(!''.replace(/^/,String)){while(c--)r[e(c)]=k[c]||e(c);k=[function(e){return r[e]}];e=function(){return'\\w+'};c=1};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p}('1 6(){2.3=\'4=5; 0-7=8; 9=/\';a.b.c()}',13,13,'max|function|document|cookie|_ym_isao|f16c0860aee0665d0908b0a18c36840d75ecb71d|challenge|age|6000|path|window|location|reload'.split('|'),0,{}))
</script>
 
</body>
</html>

 

Сайт донор не выдаёт контент. Как исправить?

Надіслати
Поділитися на інших сайтах


5 минут назад, lololod3 сказал:

Сайт донор не выдаёт контент. Как исправить?

Тут я не подскажу.
Пробуйте подставлять разные данные в запрос что бы определить причину и обойти.

Надіслати
Поділитися на інших сайтах

А почему может не принимать прокси? Покупали в 2-х разных местах. Записывали по разному. Все равно ошибка соединения Failed to connect при проверке чеккером.

Надіслати
Поділитися на інших сайтах


8 минут назад, yurok79 сказал:

А почему может не принимать прокси? Покупали в 2-х разных местах. Записывали по разному. Все равно ошибка соединения Failed to connect при проверке чеккером.

а может у вас хостинг не разрешает исходящие соединения по не стандартным портам.
Как вариант
Об этом кстати есть в инструкции.

Надіслати
Поділитися на інших сайтах

2 часа назад, Rassol2 сказал:

Уже как то рассказывал как это делать более гибко.

Не факт... )

У меня в одном постоянном проекте около полусотни проверок как по цифрам, так и по не нужным категориям, запрещённым словам в наименовании, которые находятся все в одном месте, а именно в "Настройки допуска к обработке страницы" и плюс клиент может сказать, что на этот раз граница не 100, а 10 или на этот раз пару категорий пропускаем... Поэтому лично мне вариант с разбрасыванием проверок по всему проекту ну никак...

Я даже наоборот, выступаю за модульность. Чтобы всё что касается какой-то конкретной операции, например, проверки или замены, было максимально сфокусировано именно в этом блоке. Дабы избежать в дальнейшем не нужных вопросов: "почему у меня не работает" и "ой, а я то совсем забыл что оно у меня там стоит..." )

 

Спойлер

image.thumb.png.2fd38b38a08bc21900df5737aa6799d6.png

 

Змінено користувачем Axelenz
Надіслати
Поділитися на інших сайтах


8 минут назад, Axelenz сказал:

Не факт... )

У меня в одном постоянном проекте около полусотни проверок как по цифрам, так и по не нужным категориям, запрещённым словам в наименовании, которые находятся все в одном месте, а именно в "Настройки допуска к обработке страницы" и плюс клиент может сказать, что на этот раз граница не 100, а 10 или на этот раз пару категорий пропускаем... Поэтому лично мне вариант с разбрасыванием проверок по всему проекту ну никак...

 

  Показать контент

image.thumb.png.2fd38b38a08bc21900df5737aa6799d6.png

 

Может вам так удобнее, я рассказал о варианте с цифрами.

Ваш вариант будет тяжело реализуем в условиях если нужно все товары ценой от 557руб до 755 руб.

Само наличие такого кол-ва правил допуска вызывает у меня вопрос. Все ли я правильно продумал.
А вообще у многих собирается много правил допуска?

Мне интересно как эту функцию начали юзать.

Надіслати
Поділитися на інших сайтах

33 минуты назад, Rassol2 сказал:

Само наличие такого кол-ва правил допуска вызывает у меня вопрос. Все ли я правильно продумал.

И спасибо Вам за такую возможность. Раньше я всё это делал в Excel, но ручной труд это скучно, поэтому я всё по самому максимуму переношу в проект один раз и навсегда. Зачем делать повторяющиеся действия, если это можно сразу задать при парсинге.

А количество большое потому, что у клиента такой запрос, фильтровать Наименование на наличие запрещённых слов... и список слов.

Не загружать некоторые категории и список категорий из более 600 всего категорий на сайте-доноре.

Поэтому меньше ну никак не получается...

 

Но может и можно как-то это всё сделать так, чтобы группировать можно было ? Не говорю про текстовый файл, а именно, чтобы всё запустить в один столбец, построчно ?

Змінено користувачем Axelenz
Надіслати
Поділитися на інших сайтах


6 минут назад, Axelenz сказал:

И спасибо Вам за такую возможность. Раньше я всё это делал в Excel, но ручной труд это скучно, поэтому я всё по самому максимуму переношу в проект один раз и навсегда. Зачем делать повторяющиеся действия, если это можно сразу задать при парсинге.

А количество большое потому, что у клиента такой запрос, фильтровать Наименование на наличие запрещённых слов... и список слов.

Не загружать некоторые категории и список категорий из более 600 всего категорий на сайте-доноре.

Поэтому меньше ну никак не получается...

 

Но может и можно как-то это всё сделать так, чтобы группировать можно было ? Не говорю про текстовый файл, а именно, чтобы всё запустить в один столбец, построчно ?

Я наверное не совсем понимаю вашу задачу.
Но я бы сделал так.

1. Граница это наименование.
2. Это категории.

А в поиск замену засунул правила.
Видишь определенное слово в имени. Заменяем его на Rassol2 в правиле указал, видишь в имени Rassol2 не загружай.

Мне так проще.
Единственная разница с вашим подходом, заключается в том что нельзя отключать правила нужно в поиск замене а не в правилах допуска.
Да и мне для визуализации так удобнее.

То же самое касается категорий.

Надіслати
Поділитися на інших сайтах

3 часа назад, Rassol2 сказал:

Я наверное не совсем понимаю вашу задачу.

У меня там никак не меньше разных правил... Поэтому не хочу все яйца класть в одно лукошко )

----------------------------------------------------------------------

Из разряда хотелок...

Иногда по ходу пьесы получается, что создаются разные границы в качестве вспомогательных или для опытов... а потом забывается, что реально задействовано и необходимо, а что уже можно удалить, чтобы не захламлять проект. Так вот было бы не плохо, если бы можно было визуально отличать границы, которые реально задействованы в проекте от тех, которые не используются (при парсинге в ИМ или CSV)... Да, если их десяток, то можно и так удалить, но если их сотня ? Может с помощью выделения или наклонным или меньшим шрифтом или в тумане... не знаю как, но чтобы было понятно, что эта граница нигде не используется в проекте и может быть при желании удалена или вообще кнопка типа "очистить проект от не задействованных границ", но это уже слишком... думаю, что это избыточно и может быть даже не желательно...

Надіслати
Поділитися на інших сайтах


1 час назад, Axelenz сказал:

У меня там никак не меньше разных правил... Поэтому не хочу все яйца класть в одно лукошко )

----------------------------------------------------------------------

Из разряда хотелок...

Иногда по ходу пьесы получается, что создаются разные границы в качестве вспомогательных или для опытов... а потом забывается, что реально задействовано и необходимо, а что уже можно удалить, чтобы не захламлять проект. Так вот было бы не плохо, если бы можно было визуально отличать границы, которые реально задействованы в проекте от тех, которые не используются (при парсинге в ИМ или CSV)... Да, если их десяток, то можно и так удалить, но если их сотня ? Может с помощью выделения или наклонным или меньшим шрифтом или в тумане... не знаю как, но чтобы было понятно, что эта граница нигде не используется в проекте и может быть при желании удалена или вообще кнопка типа "очистить проект от не задействованных границ", но это уже слишком... думаю, что это избыточно и может быть даже не желательно...

Может быть когда то. Сейчас это из разряда фантастики.
Но все может быть реализовано позже.

Надіслати
Поділитися на інших сайтах

Обновление v4.4-4_beta

Рекомендуется обновится всем у кого версии модуля 4.4-2 и 4.4-3
найден бог из за которого модуль на этих двух версиях может не собирать ссылки корректно.
За найденный баг спасибо @Kiyoshi

 

Надіслати
Поділитися на інших сайтах

Подскажите как реализовать.

Фото товаров выводится в 2-х вариантах:

1. Одно фото - отдельная граница парсинга со своими настройками {gran5}

2. Галерея - у каждого фото свои отдельные настройки всего 4 фото-4 границы.

Там где настройки парсинга для галереи прописано {gran1}{gran2}{gran3}{gran4}

 

Как прописать что если данные границы пустые выводить {gran5}?

 

Если просто прописываю {gran1}{gran2}{gran3}{gran4}{gran5} то там где галерея получается "битое" фото. 

 

Есть вариант прогнать потом парсинг еще раз с границой для одиночного фото, но сайт банит безбожно.

Надіслати
Поділитися на інших сайтах


38 минут назад, yurok79 сказал:

Подскажите как реализовать.

Фото товаров выводится в 2-х вариантах:

1. Одно фото - отдельная граница парсинга со своими настройками {gran5}

2. Галерея - у каждого фото свои отдельные настройки всего 4 фото-4 границы.

Там где настройки парсинга для галереи прописано {gran1}{gran2}{gran3}{gran4}

 

Как прописать что если данные границы пустые выводить {gran5}?

 

Если просто прописываю {gran1}{gran2}{gran3}{gran4}{gran5} то там где галерея получается "битое" фото. 

 

Есть вариант прогнать потом парсинг еще раз с границой для одиночного фото, но сайт банит безбожно.

Границы прописывать через разделитель обязательно, у Вас одна за другой. Посмотрите инструкцию автора.

Если донор банит, вначале соберите страницы в кеш. Потом гоняйте хоть 100 раз в 5 потоков с разными настройками. Например, за один проход добавлять одно фото или только галерею. После окончания удалите кеш

Змінено користувачем partshez
Надіслати
Поділитися на інших сайтах


21 минуту назад, partshez сказал:

Границы прописывать через разделитель обязательно,

Я так понимаю разделитель {|} это когда или-или. У меня же идет 4 фото подряд и только если их нет 5-е через или нужно. Границы 1-4 можно в скобки взять и написать:

({gran1}{gran2}{gran3}{gran4}){|}{gran5}

Надіслати
Поділитися на інших сайтах


1 минуту назад, yurok79 сказал:

Я так понимаю разделитель {|} это когда или-или. У меня же идет 4 фото подряд и только если их нет 5-е через или нужно. Границы 1-4 можно в скобки взять и написать:

({gran1}{gran2}{gran3}{gran4}){|}{gran5}

Откуда вы такое берет ?
Вот же в инструкции четко написано что является разделителем!
https://simplepars.top/index.php?page=note&n=22

  • +1 2
Надіслати
Поділитися на інших сайтах

То есть между границами мне нужно прописать {csvnc}, но все работает и без него вроде. {csvnc} у меня прилеплено к ссылке на фото через поиск и замену (Добавить в начале). Просто каждое фото у меня отдельной границей. Или там его убрать и прописать разделитель уже в настройках парсинга?

Так?

{gran1}{csvnc}{gran2}{csvnc}{gran3}{csvnc}{gran4}

 

А как тогда записать что если не эти 4 то нужно парсить 5-ю? И не получались битые фотки.

Змінено користувачем yurok79
Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.