[Поддержка] SimplePars - Универсальный парсер для ИМ

[Praimes]

1 минуту назад, Rassol2 сказал:

обратите внимание что есть 2 ветки.
Зеленая и красная.

В зеленой считается стабильная.
Красная ветка с приставкой _beta сюда я засовываю все новое.
Все пожелания, он может быть не стабильной. Но в ней самые свежие плюшки.

В зависимости от того что вам нужно, можете обновляться как по стабильный версиям так и по бета.

Я понял, значить будем по стабильности обновляться

[Rassol2]

5 минут назад, Praimes сказал:

Подскажите есть ли инструкция, чтобы при персенге автоматом создавал категория которых нет?. Спасибо

Да есть.

Вот она.
1. Выберите действие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в границе парсинга категории должны быть написаны от старшой к младшей, через {csvnc} Все.
 

Спойлер

Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

[Praimes]

Пожелания:

Есть ли возможность сделать прямо во вкладке модуля оповещения об обновления модуля? Просто на этот форум не всегда есть время заходить

Змінено 18 січня 2020 користувачем Praimes
ошибся

[Praimes]

4 минуты назад, Rassol2 сказал:

Да есть.

Вот она.
1. Выберите действие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в границе парсинга категории должны быть написаны от старшой к младшей, через {csvnc} Все.
 

  Скрыть контент

Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

Спасибо)

[Rassol2]

4 минуты назад, Praimes сказал:

Пожелания:

Есть ли возможность сделать прямо во вкладке модуля оповещения об обновления модуля? Просто на этот форум заходишь.

нет, этого не будет.
Получится что у модуля лишняя функция которая должна опрашивать сервер.
Раз в пол года заходите )

Ну или подпишитесь на обновление модуля, и будете получать уведомления об появлении новой версии.
 

Спойлер

 

Если хотите принимать более активное участие, можете подписаться на эту ветку и вам буду приходить уведомления о новых сообщениях.

 

Спойлер

оповещение по емаил.

[Praimes]

<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дачи</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сделал

 

<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

получил Текст после обработки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров

{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дачи{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.json

[dmitriy2506]

не хватает таких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял такого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хватает более расширенного лога с возможностью сортировать и подсвечивать как то ссылки с проблемными результатами

3.картинки в описании)

 

 

 

[Rassol2]

8 часов назад, Praimes сказал:

<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дачи</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сделал

 

<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

получил Текст после обработки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров

{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дачи{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.json 342 \u043a\u0411 · 0 downloads

А зачем вы так сделали ?
Во первых вот видео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

Спойлер

 

Как быстро исправить.
берем вашу категорию, меняем ее с повторяющейся на обычную границу.
 

Спойлер

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

Спойлер

И результат достоин преимии.

Ну а для наглядности смотрим на странице поиск замены. Не забываем очистить ваши правила поиск замены с старой границы. Они ни к чему.

Спойлер

Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

Спойлер

Всего доброго.

Вот файл настроек.
Смотрите видео там все рассказано.
SPsetting-135.json

[Rassol2]

7 часов назад, dmitriy2506 сказал:

не хватает таких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял такого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хватает более расширенного лога с возможностью сортировать и подсвечивать как то ссылки с проблемными результатами

3.картинки в описании)

1. ну пока сшивать только через эксель.
2. Подсветки не будет потому что это лог. И он и так уже весит через чур, и создает нагрузку при записи.
Когда я создавал логи я там закладывал понятия удачного и неудачного лога.
Удачные логи
->

неудачные логи
!->
так что можно через поиск в браузере ввести !-> и вам под светятся строки с какими то сбоями.
За одно и напомните мне где я забыл придерживается этой логики и я поправлю.
А то как то к логам вообще люди холодно относятся, и информации по ним чуть больше чем вообше нет.
 

3.картинки в описании)
Это да. Сейчас в разработке.

[Praimes]

1 час назад, Rassol2 сказал:

А зачем вы так сделали ?
Во первых вот видео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

  Показать контент

 

Как быстро исправить.
берем вашу категорию, меняем ее с повторяющейся на обычную границу.
 

  Показать контент

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

  Показать контент

И результат достоин преимии.

Ну а для наглядности смотрим на странице поиск замены. Не забываем очистить ваши правила поиск замены с старой границы. Они ни к чему.

  Показать контент

Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

  Показать контент

Всего доброго.

Вот файл настроек.
Смотрите видео там все рассказано.
SPsetting-135.json

Спасибо большое Вам!)  Видимо видео не досмотрел до конца)

[ihos]

21 час назад, Rassol2 сказал:

Изначально неправильно поставлен вопрос. Парсить то модуль будет все подряд. Ведь пока не спарсиш сумму то не узнаеш
Вы наверное хотите предложить более гибкую систему настройки логики.

Если это делаем то, а если то делаем это.
И так далее.

Вы не первый, есть мысли, и будет такое. Но всему свое время сейчас еше крон в очереди, и предварительные загрузки ссылок.
Работаю не покладая рук

О крон это супер. Давно жду

[Rassol2]

Только что, ihos сказал:

О крон это супер. Давно жду

к сожалению еше пройдется подождать
Сейчас в разработке только концепт, идея как это должно работать. И так что бы функционал можно было расширять.

[ihos]

Подскажите пожалуйста таких монстров как Хотлайн и ему подобных можно парсить? Там просто сразу блокировка идет и пишет что из-за подозрительно много обращение недоступно и это даже еще не парсил, просто вставил ссылку в парсинг и посмотреть хотел структуру, чтобы настроить парсинг. Есть какой то обход? Если да то бросьте инфу. Спасибо

Змінено 19 січня 2020 користувачем ihos

[Rassol2]

15 минут назад, ihos сказал:

Подскажите пожалуйста таких монстров как Хотлайн и ему подобных можно парсить. Там просто сразу блокировка идет и пишет что из за подозрительно много обращение недоступно и это даже еще не парсил, просто вставил ссылку в парсинг и посмотреть хотел структуру чтобы настроить парсинг. Есть какой то обход. Если да то бросьте инфу. Спасибо

Говорю как есть.
Такие монстры они быстро определят вас в список подозрительной активности.

Но парсить можно. Используя настройки модуля по обходу. Но все в комплексе.

1. Использовать паузу парсинга. Один поток.
2. На каждый поток использовать прокси.
3. Использовать юсер агент.
4. Использовать куки без сесионных.
5. Использовать собственные заголовки.

И делать это все в режиме авто подмена данных на каждый запрос.
 

Спойлер

при это прокси не должны быть засвечены в парсинге этого ресурса рание.

И тогда хотлаин и подобные не смогут определить что это запросы с одного и того же устройства.
И да прокси должны быть не прозрачные, а то есть такие что сами сообщают что здравствуйте я прокси парсю вон для того человека. И вот его ip

Итог, да парсить можно. Для этого есть все.
Легко это ? - НИ РАЗУ НЕ ПРОСТО!!!

Как игра в шахматы обыграете или нет зависит от вас. Но доску и фигуры я вам даю. А дальше в бой.
 

[ihos]

А есть инструкция по настройки прокси?

[Rassol2]

1 минуту назад, ihos сказал:

А есть инструкция по настройки прокси?

По поводу прокси есть вот - https://simplepars.top/index.php?page=note&note_id=13
Здесь описана запись и как проверить вообще живые прокси ли нет. Подходят они под донора. или ....

А использование просто. После того как добавили прокси в настройках браузера выбираете
 

Спойлер

И отныне все запросы модуля будут идти через прокси.

[Rassol2]

@ihos Даже не совсем так.
И отныне все запросы с модуля, с этого проекта. будут идти через прокси.

[urchik]

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустой, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально работало.

Попробовал на последнюю бету обновиться, но все равно также работает.

 

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Змінено 20 січня 2020 користувачем urchik

[Rassol2]

3 часа назад, urchik сказал:

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Здравствуйте.
Если коротко о главном то у вас падает база данных.
если хостинг тогда возможно вы превышаете лимиты установленные хостингом.

[Praimes]

3 часа назад, urchik сказал:

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустой, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально работало.

Попробовал на последнюю бету обновиться, но все равно также работает.

 

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

У меня такое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Либо хостенг Вам нужно сменить либо тариф поменять. У beget хостенга такая политика

[urchik]

16 минут назад, Praimes сказал:

У меня такое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Либо хостенг Вам нужно сменить либо тариф поменять. У beget хостенга такая политика

Да я на бегете, но смотрю статистику, там вообще нет превышения. Раньше запускал больше товаров и все норм было, сейчас сразу тупить начинает, как только запускаешь.

[Rassol2]

1 минуту назад, urchik сказал:

Да я на бегете, но смотрю статистику, там вообще нет превышения. Раньше запускал больше товаров и все норм было, сейчас сразу тупить начинает, как только запускаешь.

та ошибка что вы выше показали связана с обрывом mysql
Вам луче задать этот вопрос именно поддержке хостинга. Либо вы превышаете количество запросов в базу данных. Либо у них технические проблемы

[kardinals]

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выходе получаю http://prntscr.com/qq66ll
подскажите, что не так
думаю что-то неправильно здесь сделал http://prntscr.com/qq677i
 

заранее спасибо за советы
 

[Rassol2]

1 час назад, kardinals сказал:

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выходе получаю http://prntscr.com/qq66ll
подскажите, что не так
думаю что-то неправильно здесь сделал http://prntscr.com/qq677i
 

заранее спасибо за советы
 

Здравствуйте.
Нужен проект, так видно только код что вы показали. А что вы не так настроили особо не разобраться.

[kardinals]

1 час назад, Rassol2 сказал:

Здравствуйте.
Нужен проект, так видно только код что вы показали. А что вы не так настроили особо не разобраться.

 

SPsetting-1.json