Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

1 час назад, radosti сказал:

Здравствуйте! Пару месяцев назад без проблем спарсил сайт, сейчас необходимо обновить 1 параметр в карточках товара, но парсеру не удается прочитать страницы. Выбивает 2 типа ошибки:

  Показать контент
  1. НЕУДАЧНЫЙ ЗАПРОС!!!
  2. Номер ошибки = 47
  3. Текст ошибки = Maximum (100) redirects followed
  4. Ссылка = https://...........
  5. Больше информации можно получить в логах модуля SimplePars

и

  Показать контент
  1.  

Куки с авторизацией пробуйте.

Если все равно донор блокирует, добавляйте прокси. 

Змінено користувачем partshez
  • +1 1
Надіслати
Поділитися на інших сайтах


1 час назад, partshez сказал:

Берем АОП. Создаем все товары по прайсу с возможной информацией. Настраиваем парсинг через Симплпарс или АОП. Добавляем все, что нужно. 

Если грамотно, то я бы сделал имено так

Как вариант, жаль нет прайс листа, ссылки на донора и списка артикулов тогда можно было бы посмотреть какой вариант лучше в данном случае, можно завернуть через АОП, или подготовить список артикулов по порциям и скормить его через менеджер url так как у него они отображены в ссылках.

Змінено користувачем Kiyoshi
Надіслати
Поділитися на інших сайтах


10 минут назад, Kiyoshi сказал:

Скиньте снимок для понимания обшей картины.

а уже в екселе просто трансформировал ) 

в строку почему то парсил, заместо в одну колонку 

Надіслати
Поділитися на інших сайтах


7 часов назад, partshez сказал:

Куки с авторизацией пробуйте.

Если все равно донор блокирует, добавляйте прокси. 

С праздником! К сожалению, авторизации на сайте доноре нет, а прокси не работают (проверил более 20-ти), скорее всего из-за закрытых портов хостинга, повлиять на которые невозможно.
Может все-таки с собственными заголовками попробовать? Только как их найти?

Змінено користувачем radosti
Надіслати
Поділитися на інших сайтах


8 часов назад, g2grs сказал:

а уже в екселе просто трансформировал ) 

в строку почему то парсил, заместо в одну колонку 

Здравствуйте.
А скриншот таки скиньте если есть возможность. Я бы хотел увидеть что значит ссылки не в колонку, а в строку. Вдруг это какой то баг.

Надіслати
Поділитися на інших сайтах

5 часов назад, radosti сказал:

С праздником! К сожалению, авторизации на сайте доноре нет, а прокси не работают (проверил более 20-ти), скорее всего из-за закрытых портов хостинга, повлиять на которые невозможно.
Может все-таки с собственными заголовками попробовать? Только как их найти?

Здравствуйте.
На всех листингах с вероятностью в 95% открыты порты 80 и 8080
В публичном доступе исчите прокси именно с этими портами.

 

По поводу собственных заголовков.
Зайдите на страницу сайта донора и скопируйте заголовки с вашего браузера.
Как это сделать можете посмотреть в этой статье на примере браузера firefox
https://simplepars.top/index.php?page=note&note_id=17

Надіслати
Поділитися на інших сайтах

Обновление v3.7-1_beta

Это обновление исправляет сбор ссылок который немного поломался в версии 3.7

Надіслати
Поділитися на інших сайтах

добрый день.
возникла проблема не знаю с какой стороны подходить. нужно спарсить товары у оптовика. Вход по логину и паролю. Но войти из парсера не получается, пишет: Некорректный CSRF токен. Попробуйте обновить страницу.
перепробовал все Версии протокола, куда еще копать подскажите

Надіслати
Поділитися на інших сайтах


6 часов назад, Rassol2 сказал:

Здравствуйте.
На всех листингах с вероятностью в 95% открыты порты 80 и 8080
В публичном доступе исчите прокси именно с этими портами.

 

По поводу собственных заголовков.
Зайдите на страницу сайта донора и скопируйте заголовки с вашего браузера.
Как это сделать можете посмотреть в этой статье на примере браузера firefox
https://simplepars.top/index.php?page=note&note_id=17

Здравствуйте! В том перечне прокси, что я загрузил, есть несколько на 8080 и 80 портов, но и они не проходят проверки: 

Спойлер

2020-08-02 19:58:04| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 28 | Сообщение об ошибке = [ Connection timed out after 20000 milliseconds ] | Прокси = [ 1962253153:80:HTTP ]

2020-08-02 19:57:44| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 5 | Сообщение об ошибке = [ Could not resolve proxy: 19515450216 ] | Прокси = [ 19515450216:80:HTTP ]

2020-08-02 19:57:23| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 5 | Сообщение об ошибке = [ Could not resolve proxy: 113160244109 ] | Прокси = [ 113160244109:8080:HTTP ]

Пробовал много разных айпи разных стран и из разных ресурсов. 

Собственные заголовки, увы, найти не смог, хотя использовал ваш гайд. В предыдущих сообщениях писал, что дохожу до пункта найти кнопку GET запроса и ее не нахожу (во всех браузерах). Не могли бы вы, пожалуйста, глянуть через тестовый доступ на проект? Буду очень благодарен, потому что кажется, что решение где-то рядом, но не хватает опыта для настройки всех параметров.

Надіслати
Поділитися на інших сайтах


52 минуты назад, radosti сказал:

Здравствуйте! В том перечне прокси, что я загрузил, есть несколько на 8080 и 80 портов, но и они не проходят проверки: 

  Скрыть контент

2020-08-02 19:58:04| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 28 | Сообщение об ошибке = [ Connection timed out after 20000 milliseconds ] | Прокси = [ 1962253153:80:HTTP ]

2020-08-02 19:57:44| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 5 | Сообщение об ошибке = [ Could not resolve proxy: 19515450216 ] | Прокси = [ 19515450216:80:HTTP ]

2020-08-02 19:57:23| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 5 | Сообщение об ошибке = [ Could not resolve proxy: 113160244109 ] | Прокси = [ 113160244109:8080:HTTP ]

Пробовал много разных айпи разных стран и из разных ресурсов. 

Собственные заголовки, увы, найти не смог, хотя использовал ваш гайд. В предыдущих сообщениях писал, что дохожу до пункта найти кнопку GET запроса и ее не нахожу (во всех браузерах). Не могли бы вы, пожалуйста, глянуть через тестовый доступ на проект? Буду очень благодарен, потому что кажется, что решение где-то рядом, но не хватает опыта для настройки всех параметров.

Вы уверены что у вас прокси именно так выглядят ?
113160244109:8080
Это я уверен что вы с вероятностью в 100% что таких ip не сушествует.
У вас запишите правильно ip  с точками. 113160244109:8080 тут должны быть точки.

Не исчите где get. Нажмите на любую ссылку где доменное имя вашего донора.
 

Спойлер

9lzIWU9.png


Сегодня мне нужно разобрать все сообщения что были оставлены за последние дни, попробуйте сами если нет напишите завтра и я попробую через доступ.
Но сегодня мне бы времени просто отписаться всем :(

Надіслати
Поділитися на інших сайтах

3 часа назад, petroveech сказал:

добрый день.
возникла проблема не знаю с какой стороны подходить. нужно спарсить товары у оптовика. Вход по логину и паролю. Но войти из парсера не получается, пишет: Некорректный CSRF токен. Попробуйте обновить страницу.
перепробовал все Версии протокола, куда еще копать подскажите

Автоматизироваться необходимо с вашего браузера.
А в модуль вставить уже куки з браузера после авторизации.

  • +1 1
Надіслати
Поділитися на інших сайтах

Добрый день, Rassol2!  Подскажите пожалуйста.

При переезде с поддомена на основной домен, парсер перестал быть доступен,

как это можно исправить. Просто белый экран при его вызове.

Надіслати
Поділитися на інших сайтах


1 минуту назад, kliker сказал:

Добрый день, Rassol2!  Подскажите пожалуйста.

При переезде с поддомена на основной домен, парсер перестал быть доступен,

как это можно исправить. Просто белый экран при его вызове.

Просто белый экран это.

Спойлер

nqwqOw0.png


 

Надіслати
Поділитися на інших сайтах

15 минут назад, Rassol2 сказал:

Вы уверены что у вас прокси именно так выглядят ?
113160244109:8080
Это я уверен что вы с вероятностью в 100% что таких ip не сушествует.
У вас запишите правильно ip  с точками. 113160244109:8080 тут должны быть точки.

Не исчите где get. Нажмите на любую ссылку где доменное имя вашего донора.
 

  Показать контент

9lzIWU9.png


Сегодня мне нужно разобрать все сообщения что были оставлены за последние дни, попробуйте сами если нет напишите завтра и я попробую через доступ.
Но сегодня мне бы времени просто отписаться всем :(

Хорошо, спасибо, попробую настроить. 

По айпи, делал по инструкции, там точек не было, вот и убрал, думал - особенности считывания... (сложности гуманитариев) :)
 

Спойлер

image.png.9de6dd97255d7303963a4b64548eb09d.png

 

image.png

Надіслати
Поділитися на інших сайтах


точки в ip могут быть в разных местах. может быть так.
12.345.678.890
а может быть и так.
123.456.789
Я их просто убрал.

Но значит добавлю в следующих версиях.

Надіслати
Поділитися на інших сайтах

3 часа назад, Rassol2 сказал:

Просто белый экран это.

  Показать контент

nqwqOw0.png


 

 

Теперь появилось:

 

Notice: Undefined index: grans_permit_list in /старый поддомен/public_html/admin/controller/catalog/simplepars.php on line 0

Надіслати
Поділитися на інших сайтах


2 минуты назад, kliker сказал:

 

Теперь появилось:

 

Notice: Undefined index: grans_permit_list in /старый поддомен/public_html/admin/controller/catalog/simplepars.php on line 0

Вы точно закинули правильные файлы.
Точнее файлы под вашу версию php

Или вы забыли выполнить inst.php и у вас в базе данных не хватает таблиц.

Надіслати
Поділитися на інших сайтах

39 минут назад, kliker сказал:

inst.php не сделал, огромное спасибо!

не за что.
 

Надіслати
Поділитися на інших сайтах

21 час назад, Rassol2 сказал:

Здравствуйте.
А скриншот таки скиньте если есть возможность. Я бы хотел увидеть что значит ссылки не в колонку, а в строку. Вдруг это какой то баг.

2020-08-04_01-42-07.thumb.png.40718b405e10e1302c97871953f12109.png

Надіслати
Поділитися на інших сайтах


2 минуты назад, g2grs сказал:

2020-08-04_01-42-07.thumb.png.40718b405e10e1302c97871953f12109.png

так вы же сами так сформировали.
У вас между ссылками стоит разделитель {csvnc} который обозначает переход на новую колонку.
Поставьте на его место {csvnl} и переход будет не на новую колонку а на новую строку.

Надіслати
Поділитися на інших сайтах

31 минуту назад, Rassol2 сказал:

так вы же сами так сформировали.
У вас между ссылками стоит разделитель {csvnc} который обозначает переход на новую колонку.
Поставьте на его место {csvnl} и переход будет не на новую колонку а на новую строку.

а спасибо !

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.