Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

1 минуту назад, Rassol2 сказал:

обратите внимание что есть 2 ветки.
Зеленая и красная.

В зеленой считается стабильная.
Красная ветка с приставкой _beta сюда я засовываю все новое.
Все пожелания, он может быть не стабильной. Но в ней самые свежие плюшки.

В зависимости от того что вам нужно, можете обновляться как по стабильный версиям так и по бета.

Я понял, значить будем по стабильности обновляться

Надіслати
Поділитися на інших сайтах


5 минут назад, Praimes сказал:

Подскажите есть ли инструкция, чтобы при персенге автоматом создавал категория которых нет?. Спасибо

Да есть.

Вот она.
1. Выберите действие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в границе парсинга категории должны быть написаны от старшой к младшей, через {csvnc} Все.
 

Спойлер

7Hb8ruc.png


Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

Надіслати
Поділитися на інших сайтах

Пожелания:

Есть ли возможность сделать прямо во вкладке модуля оповещения об обновления модуля? Просто на этот форум не всегда есть время заходить

Змінено користувачем Praimes
ошибся
Надіслати
Поділитися на інших сайтах


4 минуты назад, Rassol2 сказал:

Да есть.

Вот она.
1. Выберите действие создавать и привязывать товар.
2. Укажите границу парсинга.
2.1 в границе парсинга категории должны быть написаны от старшой к младшей, через {csvnc} Все.
 

  Скрыть контент

7Hb8ruc.png


Пример.
Легковые{csvnc}Жигули{csvnc}Радиатор

Спасибо)

Надіслати
Поділитися на інших сайтах


4 минуты назад, Praimes сказал:

Пожелания:

Есть ли возможность сделать прямо во вкладке модуля оповещения об обновления модуля? Просто на этот форум заходишь.

нет, этого не будет.
Получится что у модуля лишняя функция которая должна опрашивать сервер.
Раз в пол года заходите )

Ну или подпишитесь на обновление модуля, и будете получать уведомления об появлении новой версии.
 

Спойлер

MvyAnS7.png

 


Если хотите принимать более активное участие, можете подписаться на эту ветку и вам буду приходить уведомления о новых сообщениях.

 

Спойлер

CBjIjBc.png



оповещение по емаил.

Надіслати
Поділитися на інших сайтах

<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дачи</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сделал

 

<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

получил Текст после обработки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров

{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дачи{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.json

Надіслати
Поділитися на інших сайтах


не хватает таких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял такого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хватает более расширенного лога с возможностью сортировать и подсвечивать как то ссылки с проблемными результатами

3.картинки в описании)

 

 

 

  • +1 1
Надіслати
Поділитися на інших сайтах


8 часов назад, Praimes сказал:

<ul class="breadcrumb">
	<li>
	<a href="/">Главная</a>
	</li>
						<li><a href="/catalog/dlya-doma-i-dachi">Для дома, дачи</a></li>
								<li><a href="/catalog/popylyarnie-tovari">ПОПУЛЯРНЫЕ ТОВАРЫ</a></li>
								<li><a href="/catalog/drygie-">Другие</a></li>
								<li class="active">Швабра Switch and Clean с механизмом отжима</li>
			</ul>

здравствуйте

1. Взял код для создания категории (показан выше)

imgur.com/a/cY4b5U4

 

2. В правиле поиск замене сделал

 


<li><a href="/"><{skip}></a></li>|
<a href="/">Главная</a>|{br}
<{skip}>|
</li>|{csvnc}
<li class="active">{skip}</li>|
{br}|{csvnc}
									|
								|
						|
	|
ПОПУЛЯРНЫЕ ТОВАРЫ|
<li class="active"></li>			|

получил Текст после обработки (а названия товара почему то не удалилось) ведь мне нужны категория а тут и наиминования товаров


{csvnc}{csvnc}{csvnc}{csvnc}{csvnc}Для дома, дачи{csvnc}{csvnc}Другие{csvnc}Швабра Switch and Clean с механизмом отжима{csvnc}

Загрузил на сайт. И теперь создались категория названия товаров

Прикрепил файл с настройками

SPsetting-4.json 342 \u043a\u0411 · 0 downloads

А зачем вы так сделали ?
Во первых вот видео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

Спойлер

 


Как быстро исправить.
берем вашу категорию, меняем ее с повторяющейся на обычную границу.
 

Спойлер

cJOppfW.png

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

Спойлер

azl4AHo.png


И результат достоин преимии.

Ну а для наглядности смотрим на странице поиск замены. Не забываем очистить ваши правила поиск замены с старой границы. Они ни к чему.

Спойлер

VmeCL64.png


Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

Спойлер

5TMncDC.png


Всего доброго.

Вот файл настроек.
Смотрите видео там все рассказано.
SPsetting-135.json

Надіслати
Поділитися на інших сайтах

7 часов назад, dmitriy2506 сказал:

не хватает таких штук:

1.парсю страницу https://rozetka.com.ua/120912286/p120912286/ нужно спарсить атрибуты товара добавив в адрес /characteristics/ насколько я понял такого функционала нет только парсить как два разных задания и сшивать ч/з csv а эт напряжно)

2.не хватает более расширенного лога с возможностью сортировать и подсвечивать как то ссылки с проблемными результатами

3.картинки в описании)

1. ну пока сшивать только через эксель.
2. Подсветки не будет потому что это лог. :( И он и так уже весит через чур, и создает нагрузку при записи.
Когда я создавал логи я там закладывал понятия удачного и неудачного лога.
Удачные логи
->

неудачные логи
!->
так что можно через поиск в браузере ввести !-> и вам под светятся строки с какими то сбоями.
За одно и напомните мне где я забыл придерживается этой логики и я поправлю.
А то как то к логам вообще люди холодно относятся, и информации по ним чуть больше чем вообше нет.

 

3.картинки в описании)
Это да. Сейчас в разработке.

Надіслати
Поділитися на інших сайтах

1 час назад, Rassol2 сказал:

А зачем вы так сделали ?
Во первых вот видео, по настройке границ парсинга. Тут рассказывается и за категории и за фото. И Разные подходы.
 

  Показать контент

 


Как быстро исправить.
берем вашу категорию, меняем ее с повторяющейся на обычную границу.
 

  Показать контент

cJOppfW.png

Сохраняем.
Создаем повторяющуюся границу парсинга внутри обычной. Внутри вашей.

  Показать контент

azl4AHo.png


И результат достоин преимии.

Ну а для наглядности смотрим на странице поиск замены. Не забываем очистить ваши правила поиск замены с старой границы. Они ни к чему.

  Показать контент

VmeCL64.png


Ну или давайте взглянем на страницу пред просмотра парсинга в ИМ

  Показать контент

5TMncDC.png


Всего доброго.

Вот файл настроек.
Смотрите видео там все рассказано.
SPsetting-135.json

Спасибо большое Вам!)  Видимо видео не досмотрел до конца)

Надіслати
Поділитися на інших сайтах


21 час назад, Rassol2 сказал:

Изначально неправильно поставлен вопрос. Парсить то модуль будет все подряд. Ведь пока не спарсиш сумму то не узнаеш :)
Вы наверное хотите предложить более гибкую систему настройки логики.

Если это делаем то, а если то делаем это.
И так далее.

Вы не первый, есть мысли, и будет такое. Но всему свое время сейчас еше крон в очереди, и предварительные загрузки ссылок.
Работаю не покладая рук :)

О крон это супер. Давно жду

Надіслати
Поділитися на інших сайтах


Только что, ihos сказал:

О крон это супер. Давно жду

к сожалению еше пройдется подождать :(
Сейчас в разработке только концепт, идея как это должно работать. И так что бы функционал можно было расширять.

Надіслати
Поділитися на інших сайтах

Подскажите пожалуйста таких монстров как Хотлайн и ему подобных можно парсить? Там просто сразу блокировка идет и пишет что из-за подозрительно много обращение недоступно и это даже еще не парсил, просто вставил ссылку в парсинг и посмотреть хотел структуру, чтобы настроить парсинг. Есть какой то обход? Если да то бросьте инфу. Спасибо

Змінено користувачем ihos
Надіслати
Поділитися на інших сайтах


15 минут назад, ihos сказал:

Подскажите пожалуйста таких монстров как Хотлайн и ему подобных можно парсить. Там просто сразу блокировка идет и пишет что из за подозрительно много обращение недоступно и это даже еще не парсил, просто вставил ссылку в парсинг и посмотреть хотел структуру чтобы настроить парсинг. Есть какой то обход. Если да то бросьте инфу. Спасибо

Говорю как есть.
Такие монстры они быстро определят вас в список подозрительной активности.

Но парсить можно. Используя настройки модуля по обходу. Но все в комплексе.


1. Использовать паузу парсинга. Один поток.
2. На каждый поток использовать прокси.
3. Использовать юсер агент.
4. Использовать куки без сесионных.
5. Использовать собственные заголовки.

И делать это все в режиме авто подмена данных на каждый запрос.
 

Спойлер

pZvO1pb.png


при это прокси не должны быть засвечены в парсинге этого ресурса рание.

И тогда хотлаин и подобные не смогут определить что это запросы с одного и того же устройства.
И да прокси должны быть не прозрачные, а то есть такие что сами сообщают что здравствуйте я прокси парсю вон для того человека. И вот его ip

Итог, да парсить можно. Для этого есть все.
Легко это ? - НИ РАЗУ НЕ ПРОСТО!!!

Как игра в шахматы обыграете или нет зависит от вас. Но доску и фигуры я вам даю. А дальше в бой. :wink:
 

  • +1 1
Надіслати
Поділитися на інших сайтах

1 минуту назад, ihos сказал:

А есть инструкция по настройки прокси?

По поводу прокси есть вот - https://simplepars.top/index.php?page=note&note_id=13
Здесь описана запись и как проверить вообще живые прокси ли нет. Подходят они под донора. или ....

А использование просто. После того как добавили прокси в настройках браузера выбираете
 

Спойлер

8aRnbcE.png


И отныне все запросы модуля будут идти через прокси.

Надіслати
Поділитися на інших сайтах

@ihos Даже не совсем так.
И отныне все запросы с модуля, с этого проекта. будут идти через прокси.

Надіслати
Поділитися на інших сайтах

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустой, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально работало.

Попробовал на последнюю бету обновиться, но все равно также работает.

 

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Змінено користувачем urchik
Надіслати
Поділитися на інших сайтах


3 часа назад, urchik сказал:

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

Здравствуйте.
Если коротко о главном то у вас падает база данных.
если хостинг тогда возможно вы превышаете лимиты установленные хостингом.

Надіслати
Поділитися на інших сайтах

3 часа назад, urchik сказал:

Что то сегодня парсится с ошибками.

Запускаешь парсинг в ИМ, может висеть, потом запускается парсит и опять висит.

Выдает в логах ошибку 28, добавляет товар пустой, есть товары без картинок, хотя на сервер спарсил, без атрибутов.

Что за ошибка и как исправить, чтоб нормально работало.

Попробовал на последнюю бету обновиться, но все равно также работает.

 

В логах магазин появились вот такие ошибки

PHP Warning:  Error while sending QUERY packet. PID=33316 in /home/u/......./public_html/system/library/db/mysqli.php on line 18

У меня такое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Либо хостенг Вам нужно сменить либо тариф поменять. У beget хостенга такая политика

Надіслати
Поділитися на інших сайтах


16 минут назад, Praimes сказал:

У меня такое было, только хостенг скрипты и post заблокировал. Вы привысили ежедневный лимит CP на базу данных. Либо хостенг Вам нужно сменить либо тариф поменять. У beget хостенга такая политика

Да я на бегете, но смотрю статистику, там вообще нет превышения. Раньше запускал больше товаров и все норм было, сейчас сразу тупить начинает, как только запускаешь.

Надіслати
Поділитися на інших сайтах


1 минуту назад, urchik сказал:

Да я на бегете, но смотрю статистику, там вообще нет превышения. Раньше запускал больше товаров и все норм было, сейчас сразу тупить начинает, как только запускаешь.

та ошибка что вы выше показали связана с обрывом mysql
Вам луче задать этот вопрос именно поддержке хостинга. Либо вы превышаете количество запросов в базу данных. Либо у них технические проблемы

Надіслати
Поділитися на інших сайтах

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выходе получаю http://prntscr.com/qq66ll
подскажите, что не так
думаю что-то неправильно здесь сделал http://prntscr.com/qq677i
 

заранее спасибо за советы
 

Надіслати
Поділитися на інших сайтах


1 час назад, kardinals сказал:

как правильно вытянуть опции, что-то не совсем с ними получается?

<label class="control-label" for="input-option280">Размеры матраса</label>

<select name="option[280]" id="input-option280" class="form-control">

<option value=""> --- Выберите --- </option>

<option value="319">80x190

</option>

<option value="320">90x190

(+339<font size="2"> Грн</font>)

</option>

</select>

это урезанный код
на выходе получаю http://prntscr.com/qq66ll
подскажите, что не так
думаю что-то неправильно здесь сделал http://prntscr.com/qq677i
 

заранее спасибо за советы
 

Здравствуйте.
Нужен проект, так видно только код что вы показали. А что вы не так настроили особо не разобраться.

Надіслати
Поділитися на інших сайтах

1 час назад, Rassol2 сказал:

Здравствуйте.
Нужен проект, так видно только код что вы показали. А что вы не так настроили особо не разобраться.

 

SPsetting-1.json

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.