[Поддержка] SimplePars - Універсальний парсер для ІМ

[Rassol2]

2 минуты назад, Dmitry76 сказал:

Всем привет.
Кто может подсказать?
Вопрос из области Настроек запросов. Не понимаю, в чем разница при открытии страницы донора просто в браузере и открытии той же страницы через модуль simplepars?
Через браузер отлично открывает все, а через simplepars не дает ничего. 
Пробую разные прокси, все равно не открывает ничего, ранее все отлично отдавал донор. Что-то поменялось у него, не знаю как это обойти.

Вас могли просто забанить.
И все запросы с ip вашего хостинга банить. А что происходит нужно понимать от талкиваясь от логов.

Если запрос успешен но нет данных, то вас как то определили.
Если используете прокси запрос упешен а кода нет, значит могут определять по куками.
Так же помните что никто не гарантирует что ваши прокси как публичные дано не находятся в блек листе хостинга.

Вы к примеру можете открыть демой сайт модуля и там отправить запрос для понимания.

[Dmitry76]

3 минуты назад, Rassol2 сказал:

Вас могли просто забанить.
И все запросы с ip вашего хостинга банить. А что происходит нужно понимать от талкиваясь от логов.

Если запрос успешен но нет данных, то вас как то определили.
Если используете прокси запрос упешен а кода нет, значит могут определять по куками.
Так же помните что никто не гарантирует что ваши прокси как публичные дано не находятся в блек листе хостинга.

Вы к примеру можете открыть демой сайт модуля и там отправить запрос для понимания.

если забанили, почему тогда просто в браузере все открывает? Покупаю хорошие прокси, поменял их штук 5, не помогло. 

[Rassol2]

5 минут назад, Dmitry76 сказал:

если забанили, почему тогда просто в браузере все открывает? Покупаю хорошие прокси, поменял их штук 5, не помогло. 

Ну банят то не вас, а сайт с которого запросы.
Попробуйте с демо сайта.

Если то же самое, значит они ввели какую то систему проверки запросов. Могут к примеру отправлять куки.
Покажите результат запроса, покажите логи, что бы понимать о чем речь.

[Dmitry76]

2 минуты назад, Rassol2 сказал:

Ну банят то не вас, а сайт с которого запросы.
Попробуйте с демо сайта.

Если то же самое, значит они ввели какую то систему проверки запросов. Могут к примеру отправлять куки.
Покажите результат запроса, покажите логи, что бы понимать о чем речь.

2021-09-04 00:51:19| Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 47 | Текст ответа = Maximum (100) redirects followed | Ссылка - https://w

[Dmitry76]

  

[Rassol2]

4 минуты назад, Dmitry76 сказал:

2021-09-04 00:51:19| Парсинг : НЕГАТИВНЫЙ ответ  | Код ответа = 47 | Текст ответа = Maximum (100) redirects followed | Ссылка - https://w

В данном случаи сайт донор вас перенаправляет куда то.
И у вас включены редиректы. Вы можете выключить редиректы что бы вас не перенаправляло, и включить просмотр заголовков что бы увидить что донор отдает.

Но по опыту могу сказать что скорее всего донор видит что у вас нет ПРАВИЛЬНЫХ кук, выставляет их и делает редирект, а поскольку куки отключены процесс повторяется до бесконечности. И кстати это может быть не связано с отключенными куками, а с тем что они выставляются JS скриптом, такое тоже может быть.

Я бы попробовал перенести куки с браузера в модуль.

[Dmitry76]

2 минуты назад, Rassol2 сказал:

В данном случаи сайт донор вас перенаправляет куда то.
И у вас включены редиректы. Вы можете выключить редиректы что бы вас не перенаправляло, и включить просмотр заголовков что бы увидить что донор отдает.

Но по опыту могу сказать что скорее всего донор видит что у вас нет кук, выставляет их и делает редирект, а поскольку куки отключены процесс повторяется до бесконечности. И кстати это может быть не связано с отключенными куками, а с тем что они выставляются JS скриптом, такое тоже может быть.

Я бы попробовал перенести куки с браузера в модуль.

немного недопонимаю Ваш совет. 
Как куки с браузера перенести в модуль? Я такого еще не делал. 

[Rassol2]

1 минуту назад, Dmitry76 сказал:

немного недопонимаю Ваш совет. 
Как куки с браузера перенести в модуль? Я такого еще не делал. 

Вот так. Только тут описано куки для авторизации, а вам все.
https://simplepars.top/index.php?page=note&n=29

 

Или в видео я показывал тоже когда это касалось авторизации. Метод переноса такой же.

Спойлер

 

 

[Dmitry76]

1 час назад, Rassol2 сказал:

Вот так. Только тут описано куки для авторизации, а вам все.
https://simplepars.top/index.php?page=note&n=29

 

Или в видео я показывал тоже когда это касалось авторизации. Метод переноса такой же.

  Скрыть контент

 

 

не получается что-то

[Rassol2]

1 минуту назад, Dmitry76 сказал:

не получается что-то

Кидайте сюда ссылку будет время гляну.

[Dmitry76]

4 минуты назад, Rassol2 сказал:

Кидайте сюда ссылку будет время гляну.

ссылку донора?

 

 

[Rassol2]

54 минуты назад, Dmitry76 сказал:

ссылку донора?

 

 

Ну да.

[Dmitry76]

8 минут назад, Rassol2 сказал:

Ну да.

https://www.eldorado.ru/cat/detail/besprovodnye-naushniki-s-mikrofonom-samsung-galaxy-buds-silver-sm-r170/

[Rassol2]

6 минут назад, Dmitry76 сказал:

https://www.eldorado.ru/cat/detail/besprovodnye-naushniki-s-mikrofonom-samsung-galaxy-buds-silver-sm-r170/

И уже прям сразу вижу что они через js выставляют вам куки и затем отправляют на перезагрузку страницы.

Вот в этом и загадка.

Если смогу разгадать что они прописывают туда тогда можно будет обойти. Но это уже своего рода зашита.

[Rassol2]

@Dmitry76 Нет в данном случаи пока не обойти.
Нужно иметь обработчик JS кода.
У них присылается код на jscripte который проверяет передавать страницу или отправить на редирект. И так как js обработать нельзя этот цикл будет повторятся.
Пока что это не решить.

[Aspirinnka1]

Ребята, помогите с SQL запросом на удаление лишних значений у опций.

С атрибутами справился, с производителями справился. С опциями затык...

После парсинга сайтов накопилось много лишних значений опций. Или их, в принципе, нельзя выщемить?

[Reanimaster]

13 минут назад, Aspirinnka1 сказал:

Ребята, помогите с SQL запросом на удаление лишних значений у опций.

 

[Aspirinnka1]

По описанию очень даже интересно. А опыт использования есть?

[Reanimaster]

51 минуту назад, Aspirinnka1 сказал:

А опыт использования есть?

 

Пользовался и не раз, все работает.

[Dmitry76]

10 часов назад, Rassol2 сказал:

@Dmitry76 Нет в данном случаи пока не обойти.
Нужно иметь обработчик JS кода.
У них присылается код на jscripte который проверяет передавать страницу или отправить на редирект. И так как js обработать нельзя этот цикл будет повторятся.
Пока что это не решить.

это они новую защиту сделали? Раньше все отдавалось.

[Rassol2]

это они новую защиту сделали? Раньше все отдавалось.

Не знаю. Я не наблюдал за этим донором.

Отправлено с телефона через Tapatalk

[Dmitry76]

10 минут назад, Rassol2 сказал:

Не знаю. Я не наблюдал за этим донором.

Отправлено с телефона через Tapatalk
 

т.е. никакие прокси не помогут теперь? 
 

[Rassol2]

т.е. никакие прокси не помогут теперь? 
 

В данном случаи нет так как в коде видно что тут идёт отправка и прием куклы в Js а как оно кодирует непонятно. И куки с браузера не подходят.

Отправлено с телефона через Tapatalk

[Dmitry76]

8 минут назад, Rassol2 сказал:

В данном случаи нет так как в коде видно что тут идёт отправка и прием куклы в Js а как оно кодирует непонятно. И куки с браузера не подходят.

Отправлено с телефона через Tapatalk
 

в новых проектах по этому донору, в куках новая строка стала появляться, раньше такой не было: _HASH__=3f08d0ac9d50f6c48db9553c3d34349c; 
 

Есть какой-то способ спарсить этот сайт или теперь все, их защита неуязвима?

[Rassol2]

10 минут назад, Dmitry76 сказал:

в новых проектах по этому донору, в куках новая строка стала появляться, раньше такой не было: _HASH__=3f08d0ac9d50f6c48db9553c3d34349c; 
 

Есть какой-то способ спарсить этот сайт или теперь все, их защита неуязвима?

Я же уже ответил. Обработка и выстановка данных происходит при помощи Js а php не способен интерпретировать Js

 

На данный момент это не достать.