Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

[Поддержка] SimplePars - Універсальний парсер для ІМ

Rassol2

Автор: ,
в Парсеры

 Share

Recommended Posts

Praimes Rookie

Praimes

Опубліковано:
Опубліковано:
  В 18.01.2020 в 13:48, Rassol2 сказав:

обратите внимание что есть 2 ветки.
Зеленая и красная.

В зеленой считается стабильная.
Красная ветка с приставкой _beta сюда я засовываю все новое.
Все пожелания, он может быть не стабильной. Но в ней самые свежие плюшки.

В зависимости от того что вам нужно, можете обновляться как по стабильный версиям так и по бета.

Expand  

Я понял, значить будем по стабильности обновляться

Надіслати
Поділитися на інших сайтах

  • Відповіді 13,7k
  • Created
  • Остання відповідь

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Rassol2
Rassol2

Ну что займу первый пост. Поскольку модуль все же выложил ушел писать инструкцию к этому франкенштейну. Может кому то пригодится  PS. Чуть не забыл. Кому пригодился нажмите палец верх 

Rassol2
Rassol2

26

Rassol2
Rassol2

Обновление v4.0-12_beta Главная страница. Немного переработал убогость главной страницы.   Теперь с этой страницы можно сразу же отключить крон, если собираетесь работать вручную. Так

Posted Images

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 18.01.2020 в 13:47, Praimes сказав:

Подскажите есть ли инструкция, чтобы при персенге автоматом создавал категория которых нет?. Спасибо

Expand  

Да есть.

Вот она.
1. Выберите действие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в границе парсинга категории должны быть написаны от старшой к младшей, через {csvnc} Все.
 

  Показати вміст


Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

Надіслати
Поділитися на інших сайтах
1
1
1
1

Praimes Rookie

Praimes

Опубліковано:
Опубліковано: (змінено)

Пожелания:

Есть ли возможность сделать прямо во вкладке модуля оповещения об обновления модуля? Просто на этот форум не всегда есть время заходить

Змінено користувачем Praimes
ошибся
Надіслати
Поділитися на інших сайтах

Praimes Rookie

Praimes

Опубліковано:
Опубліковано:
  В 18.01.2020 в 13:51, Rassol2 сказав:

Да есть.

Вот она.
1. Выберите действие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в границе парсинга категории должны быть написаны от старшой к младшей, через {csvnc} Все.
 

  Показати вміст


Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

Expand  

Спасибо)

Надіслати
Поділитися на інших сайтах

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 18.01.2020 в 13:54, Praimes сказав:

Пожелания:

Есть ли возможность сделать прямо во вкладке модуля оповещения об обновления модуля? Просто на этот форум заходишь.

Expand  

нет, этого не будет.
Получится что у модуля лишняя функция которая должна опрашивать сервер.
Раз в пол года заходите )

Ну или подпишитесь на обновление модуля, и будете получать уведомления об появлении новой версии.
 

  Показати вміст

 


Если хотите принимать более активное участие, можете подписаться на эту ветку и вам буду приходить уведомления о новых сообщениях.

 

  Показати вміст



оповещение по емаил.

Надіслати
Поділитися на інших сайтах
1
1
1
1

Praimes Rookie

Praimes

Опубліковано:
Опубліковано: 
<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дачи</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сделал

  

<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

получил Текст после обработки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров 

{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дачи{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.jsonFetching info...

Надіслати
Поділитися на інших сайтах

dmitriy2506 Experienced

dmitriy2506

Опубліковано:
Опубліковано:

не хватает таких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял такого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хватает более расширенного лога с возможностью сортировать и подсвечивать как то ссылки с проблемными результатами

3.картинки в описании)

 

 

 

  • +1 1
Надіслати
Поділитися на інших сайтах

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 18.01.2020 в 21:53, Praimes сказав: 
<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дачи</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сделал

  

<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

получил Текст после обработки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров 

{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дачи{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.json 342 \u043a\u0411 · 0 downloads

Expand  

А зачем вы так сделали ?
Во первых вот видео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

  Показати вміст


Как быстро исправить.
берем вашу категорию, меняем ее с повторяющейся на обычную границу.
 

  Показати вміст

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

  Показати вміст


И результат достоин преимии.

Ну а для наглядности смотрим на странице поиск замены. Не забываем очистить ваши правила поиск замены с старой границы. Они ни к чему.

  Показати вміст


Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

  Показати вміст


Всего доброго.

Вот файл настроек.
Смотрите видео там все рассказано.
SPsetting-135.json

Надіслати
Поділитися на інших сайтах
1
1
1
1

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 18.01.2020 в 22:51, dmitriy2506 сказав:

не хватает таких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял такого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хватает более расширенного лога с возможностью сортировать и подсвечивать как то ссылки с проблемными результатами

3.картинки в описании)

Expand  

1. ну пока сшивать только через эксель.
2. Подсветки не будет потому что это лог. :( И он и так уже весит через чур, и создает нагрузку при записи.
Когда я создавал логи я там закладывал понятия удачного и неудачного лога.
Удачные логи
->

неудачные логи
!->
так что можно через поиск в браузере ввести !-> и вам под светятся строки с какими то сбоями.
За одно и напомните мне где я забыл придерживается этой логики и я поправлю.
А то как то к логам вообще люди холодно относятся, и информации по ним чуть больше чем вообше нет.
 

3.картинки в описании)
Это да. Сейчас в разработке.

Надіслати
Поділитися на інших сайтах
1
1
1
1

Praimes Rookie

Praimes

Опубліковано:
Опубліковано:
  В 19.01.2020 в 06:47, Rassol2 сказав:

А зачем вы так сделали ?
Во первых вот видео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

  Показати вміст


Как быстро исправить.
берем вашу категорию, меняем ее с повторяющейся на обычную границу.
 

  Показати вміст

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

  Показати вміст


И результат достоин преимии.

Ну а для наглядности смотрим на странице поиск замены. Не забываем очистить ваши правила поиск замены с старой границы. Они ни к чему.

  Показати вміст


Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

  Показати вміст


Всего доброго.

Вот файл настроек.
Смотрите видео там все рассказано.
SPsetting-135.json

Expand  

Спасибо большое Вам!)  Видимо видео не досмотрел до конца)

Надіслати
Поділитися на інших сайтах

ihos Enthusiast

ihos

Опубліковано:
Опубліковано:
  В 18.01.2020 в 12:38, Rassol2 сказав:

Изначально неправильно поставлен вопрос. Парсить то модуль будет все подряд. Ведь пока не спарсиш сумму то не узнаеш :)
Вы наверное хотите предложить более гибкую систему настройки логики.

Если это делаем то, а если то делаем это.
И так далее.

Вы не первый, есть мысли, и будет такое. Но всему свое время сейчас еше крон в очереди, и предварительные загрузки ссылок.
Работаю не покладая рук :)

Expand  

О крон это супер. Давно жду

Надіслати
Поділитися на інших сайтах

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 19.01.2020 в 10:32, ihos сказав:

О крон это супер. Давно жду

Expand  

к сожалению еше пройдется подождать :(
Сейчас в разработке только концепт, идея как это должно работать. И так что бы функционал можно было расширять.

Надіслати
Поділитися на інших сайтах
1
1
1
1

ihos Enthusiast

ihos

Опубліковано:
Опубліковано: (змінено)

Подскажите пожалуйста таких монстров как Хотлайн и ему подобных можно парсить? Там просто сразу блокировка идет и пишет что из-за подозрительно много обращение недоступно и это даже еще не парсил, просто вставил ссылку в парсинг и посмотреть хотел структуру, чтобы настроить парсинг. Есть какой то обход? Если да то бросьте инфу. Спасибо

Змінено користувачем ihos
Надіслати
Поділитися на інших сайтах

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 19.01.2020 в 10:35, ihos сказав:

Подскажите пожалуйста таких монстров как Хотлайн и ему подобных можно парсить. Там просто сразу блокировка идет и пишет что из за подозрительно много обращение недоступно и это даже еще не парсил, просто вставил ссылку в парсинг и посмотреть хотел структуру чтобы настроить парсинг. Есть какой то обход. Если да то бросьте инфу. Спасибо

Expand  

Говорю как есть.
Такие монстры они быстро определят вас в список подозрительной активности.

Но парсить можно. Используя настройки модуля по обходу. Но все в комплексе.


1. Использовать паузу парсинга. Один поток.
2. На каждый поток использовать прокси.
3. Использовать юсер агент.
4. Использовать куки без сесионных.
5. Использовать собственные заголовки.

И делать это все в режиме авто подмена данных на каждый запрос.
 

  Показати вміст


при это прокси не должны быть засвечены в парсинге этого ресурса рание.

И тогда хотлаин и подобные не смогут определить что это запросы с одного и того же устройства.
И да прокси должны быть не прозрачные, а то есть такие что сами сообщают что здравствуйте я прокси парсю вон для того человека. И вот его ip

Итог, да парсить можно. Для этого есть все.
Легко это ? - НИ РАЗУ НЕ ПРОСТО!!!

Как игра в шахматы обыграете или нет зависит от вас. Но доску и фигуры я вам даю. А дальше в бой. :wink:
 

  • +1 1
Надіслати
Поділитися на інших сайтах
1
1
1
1

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 19.01.2020 в 10:52, ihos сказав:

А есть инструкция по настройки прокси?

Expand  

По поводу прокси есть вот - https://simplepars.top/index.php?page=note&note_id=13
Здесь описана запись и как проверить вообще живые прокси ли нет. Подходят они под донора. или ....

А использование просто. После того как добавили прокси в настройках браузера выбираете
 

  Показати вміст


И отныне все запросы модуля будут идти через прокси.

Надіслати
Поділитися на інших сайтах
1
1
1
1

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:

@ihos Даже не совсем так.
И отныне все запросы с модуля, с этого проекта. будут идти через прокси.

Надіслати
Поділитися на інших сайтах
1
1
1
1

urchik Enthusiast

urchik

Опубліковано:
Опубліковано: (змінено)

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустой, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально работало.

Попробовал на последнюю бету обновиться, но все равно также работает.

 

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Змінено користувачем urchik
Надіслати
Поділитися на інших сайтах

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 20.01.2020 в 04:09, urchik сказав:

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Expand  

Здравствуйте.
Если коротко о главном то у вас падает база данных.
если хостинг тогда возможно вы превышаете лимиты установленные хостингом.

Надіслати
Поділитися на інших сайтах
1
1
1
1

Praimes Rookie

Praimes

Опубліковано:
Опубліковано:
  В 20.01.2020 в 04:09, urchik сказав:

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустой, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально работало.

Попробовал на последнюю бету обновиться, но все равно также работает.

 

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Expand  

У меня такое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Либо хостенг Вам нужно сменить либо тариф поменять. У beget хостенга такая политика

Надіслати
Поділитися на інших сайтах

urchik Enthusiast

urchik

Опубліковано:
Опубліковано:
  В 20.01.2020 в 08:07, Praimes сказав:

У меня такое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Либо хостенг Вам нужно сменить либо тариф поменять. У beget хостенга такая политика

Expand  

Да я на бегете, но смотрю статистику, там вообще нет превышения. Раньше запускал больше товаров и все норм было, сейчас сразу тупить начинает, как только запускаешь.

Надіслати
Поділитися на інших сайтах

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 20.01.2020 в 08:25, urchik сказав:

Да я на бегете, но смотрю статистику, там вообще нет превышения. Раньше запускал больше товаров и все норм было, сейчас сразу тупить начинает, как только запускаешь.

Expand  

та ошибка что вы выше показали связана с обрывом mysql
Вам луче задать этот вопрос именно поддержке хостинга. Либо вы превышаете количество запросов в базу данных. Либо у них технические проблемы

Надіслати
Поділитися на інших сайтах
1
1
1
1

kardinals Explorer

kardinals

Опубліковано:
Опубліковано:

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выходе получаю http://prntscr.com/qq66ll
подскажите, что не так
думаю что-то неправильно здесь сделал http://prntscr.com/qq677i
 

заранее спасибо за советы
 

Надіслати
Поділитися на інших сайтах

Rassol2 Grand Master

Rassol2

Опубліковано:
  • Автор
Опубліковано:
  В 20.01.2020 в 10:25, kardinals сказав:

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выходе получаю http://prntscr.com/qq66ll
подскажите, что не так
думаю что-то неправильно здесь сделал http://prntscr.com/qq677i
 

заранее спасибо за советы
 

Expand  

Здравствуйте.
Нужен проект, так видно только код что вы показали. А что вы не так настроили особо не разобраться.

Надіслати
Поділитися на інших сайтах
1
1
1
1

kardinals Explorer

kardinals

Опубліковано:
Опубліковано:
  В 20.01.2020 в 11:58, Rassol2 сказав:

Здравствуйте.
Нужен проект, так видно только код что вы показали. А что вы не так настроили особо не разобраться.

Expand  

 

SPsetting-1.jsonFetching info...

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
 Share
Перейти до списку тем

Покупцям

Розробникам

Корисна інформація

Останні розширення

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.

  Я даю згоду