[Поддержка] SimplePars - Универсальный парсер для ИМ

[partshez]

1 час назад, radosti сказал:

Здравствуйте! Пару месяцев назад без проблем спарсил сайт, сейчас необходимо обновить 1 параметр в карточках товара, но парсеру не удается прочитать страницы. Выбивает 2 типа ошибки:

  Показать контент

1. НЕУДАЧНЫЙ ЗАПРОС!!!
2. Номер ошибки = 47
3. Текст ошибки = Maximum (100) redirects followed
4. Ссылка = https://...........
5. Больше информации можно получить в логах модуля SimplePars

и

  Показать контент

1.  

Куки с авторизацией пробуйте.

Если все равно донор блокирует, добавляйте прокси. 

Змінено 2 серпня 2020 користувачем partshez

[Kiyoshi]

1 час назад, partshez сказал:

Берем АОП. Создаем все товары по прайсу с возможной информацией. Настраиваем парсинг через Симплпарс или АОП. Добавляем все, что нужно. 

Если грамотно, то я бы сделал имено так

Как вариант, жаль нет прайс листа, ссылки на донора и списка артикулов тогда можно было бы посмотреть какой вариант лучше в данном случае, можно завернуть через АОП, или подготовить список артикулов по порциям и скормить его через менеджер url так как у него они отображены в ссылках.

Змінено 2 серпня 2020 користувачем Kiyoshi

[partshez]

Сегодня день ВДВ, мой профессинальный праздник. Отдыхаю. Никто кроме нас. За ВДВ!

[g2grs]

Добрый день !

Подскажите плиз парсю ссылки на товары все ок ) 

но вот сохранения идут не в колонку а в строку (((

что я делаю не так ? 

[Kiyoshi]

Скиньте снимок для понимания обшей картины.

[g2grs]

10 минут назад, Kiyoshi сказал:

Скиньте снимок для понимания обшей картины.

а уже в екселе просто трансформировал ) 

в строку почему то парсил, заместо в одну колонку 

[radosti]

7 часов назад, partshez сказал:

Куки с авторизацией пробуйте.

Если все равно донор блокирует, добавляйте прокси. 

С праздником! К сожалению, авторизации на сайте доноре нет, а прокси не работают (проверил более 20-ти), скорее всего из-за закрытых портов хостинга, повлиять на которые невозможно.
Может все-таки с собственными заголовками попробовать? Только как их найти?

Змінено 2 серпня 2020 користувачем radosti

[Rassol2]

8 часов назад, g2grs сказал:

а уже в екселе просто трансформировал ) 

в строку почему то парсил, заместо в одну колонку 

Здравствуйте.
А скриншот таки скиньте если есть возможность. Я бы хотел увидеть что значит ссылки не в колонку, а в строку. Вдруг это какой то баг.

[Rassol2]

5 часов назад, radosti сказал:

С праздником! К сожалению, авторизации на сайте доноре нет, а прокси не работают (проверил более 20-ти), скорее всего из-за закрытых портов хостинга, повлиять на которые невозможно.
Может все-таки с собственными заголовками попробовать? Только как их найти?

Здравствуйте.
На всех листингах с вероятностью в 95% открыты порты 80 и 8080
В публичном доступе исчите прокси именно с этими портами.

 

По поводу собственных заголовков.
Зайдите на страницу сайта донора и скопируйте заголовки с вашего браузера.
Как это сделать можете посмотреть в этой статье на примере браузера firefox
https://simplepars.top/index.php?page=note&note_id=17

[Rassol2]

Обновление v3.7-1_beta

Это обновление исправляет сбор ссылок который немного поломался в версии 3.7

[petroveech]

добрый день.
возникла проблема не знаю с какой стороны подходить. нужно спарсить товары у оптовика. Вход по логину и паролю. Но войти из парсера не получается, пишет: Некорректный CSRF токен. Попробуйте обновить страницу.
перепробовал все Версии протокола, куда еще копать подскажите

[radosti]

6 часов назад, Rassol2 сказал:

Здравствуйте.
На всех листингах с вероятностью в 95% открыты порты 80 и 8080
В публичном доступе исчите прокси именно с этими портами.

 

По поводу собственных заголовков.
Зайдите на страницу сайта донора и скопируйте заголовки с вашего браузера.
Как это сделать можете посмотреть в этой статье на примере браузера firefox
https://simplepars.top/index.php?page=note&note_id=17

Здравствуйте! В том перечне прокси, что я загрузил, есть несколько на 8080 и 80 портов, но и они не проходят проверки: 

Спойлер

2020-08-02 19:58:04| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 28 | Сообщение об ошибке = [ Connection timed out after 20000 milliseconds ] | Прокси = [ 1962253153:80:HTTP ]

2020-08-02 19:57:44| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 5 | Сообщение об ошибке = [ Could not resolve proxy: 19515450216 ] | Прокси = [ 19515450216:80:HTTP ]

2020-08-02 19:57:23| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 5 | Сообщение об ошибке = [ Could not resolve proxy: 113160244109 ] | Прокси = [ 113160244109:8080:HTTP ]

Пробовал много разных айпи разных стран и из разных ресурсов. 

Собственные заголовки, увы, найти не смог, хотя использовал ваш гайд. В предыдущих сообщениях писал, что дохожу до пункта найти кнопку GET запроса и ее не нахожу (во всех браузерах). Не могли бы вы, пожалуйста, глянуть через тестовый доступ на проект? Буду очень благодарен, потому что кажется, что решение где-то рядом, но не хватает опыта для настройки всех параметров.

[Rassol2]

52 минуты назад, radosti сказал:

Здравствуйте! В том перечне прокси, что я загрузил, есть несколько на 8080 и 80 портов, но и они не проходят проверки: 

  Скрыть контент

2020-08-02 19:58:04| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 28 | Сообщение об ошибке = [ Connection timed out after 20000 milliseconds ] | Прокси = [ 1962253153:80:HTTP ]

2020-08-02 19:57:44| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 5 | Сообщение об ошибке = [ Could not resolve proxy: 19515450216 ] | Прокси = [ 19515450216:80:HTTP ]

2020-08-02 19:57:23| !-> PROXY CHECKER | ОШИБКА | Номер ошибки = 5 | Сообщение об ошибке = [ Could not resolve proxy: 113160244109 ] | Прокси = [ 113160244109:8080:HTTP ]

Пробовал много разных айпи разных стран и из разных ресурсов. 

Собственные заголовки, увы, найти не смог, хотя использовал ваш гайд. В предыдущих сообщениях писал, что дохожу до пункта найти кнопку GET запроса и ее не нахожу (во всех браузерах). Не могли бы вы, пожалуйста, глянуть через тестовый доступ на проект? Буду очень благодарен, потому что кажется, что решение где-то рядом, но не хватает опыта для настройки всех параметров.

Вы уверены что у вас прокси именно так выглядят ?
113160244109:8080
Это я уверен что вы с вероятностью в 100% что таких ip не сушествует.
У вас запишите правильно ip  с точками. 113160244109:8080 тут должны быть точки.

Не исчите где get. Нажмите на любую ссылку где доменное имя вашего донора.
 

Спойлер

Сегодня мне нужно разобрать все сообщения что были оставлены за последние дни, попробуйте сами если нет напишите завтра и я попробую через доступ.
Но сегодня мне бы времени просто отписаться всем

[Rassol2]

3 часа назад, petroveech сказал:

добрый день.
возникла проблема не знаю с какой стороны подходить. нужно спарсить товары у оптовика. Вход по логину и паролю. Но войти из парсера не получается, пишет: Некорректный CSRF токен. Попробуйте обновить страницу.
перепробовал все Версии протокола, куда еще копать подскажите

Автоматизироваться необходимо с вашего браузера.
А в модуль вставить уже куки з браузера после авторизации.

[kliker]

Добрый день, Rassol2!  Подскажите пожалуйста.

При переезде с поддомена на основной домен, парсер перестал быть доступен,

как это можно исправить. Просто белый экран при его вызове.

[Rassol2]

1 минуту назад, kliker сказал:

Добрый день, Rassol2!  Подскажите пожалуйста.

При переезде с поддомена на основной домен, парсер перестал быть доступен,

как это можно исправить. Просто белый экран при его вызове.

Просто белый экран это.

Спойлер

 

[radosti]

15 минут назад, Rassol2 сказал:

Вы уверены что у вас прокси именно так выглядят ?
113160244109:8080
Это я уверен что вы с вероятностью в 100% что таких ip не сушествует.
У вас запишите правильно ip  с точками. 113160244109:8080 тут должны быть точки.

Не исчите где get. Нажмите на любую ссылку где доменное имя вашего донора.
 

  Показать контент

Сегодня мне нужно разобрать все сообщения что были оставлены за последние дни, попробуйте сами если нет напишите завтра и я попробую через доступ.
Но сегодня мне бы времени просто отписаться всем

Хорошо, спасибо, попробую настроить. 

По айпи, делал по инструкции, там точек не было, вот и убрал, думал - особенности считывания... (сложности гуманитариев)
 

Спойлер

 

[Rassol2]

точки в ip могут быть в разных местах. может быть так.
12.345.678.890
а может быть и так.
123.456.789
Я их просто убрал.

Но значит добавлю в следующих версиях.

[kliker]

3 часа назад, Rassol2 сказал:

Просто белый экран это.

  Показать контент

 

 

Теперь появилось:

 

Notice: Undefined index: grans_permit_list in /старый поддомен/public_html/admin/controller/catalog/simplepars.php on line 0

[Rassol2]

2 минуты назад, kliker сказал:

 

Теперь появилось:

 

Notice: Undefined index: grans_permit_list in /старый поддомен/public_html/admin/controller/catalog/simplepars.php on line 0

Вы точно закинули правильные файлы.
Точнее файлы под вашу версию php

Или вы забыли выполнить inst.php и у вас в базе данных не хватает таблиц.

[kliker]

inst.php не сделал, огромное спасибо!

[Rassol2]

39 минут назад, kliker сказал:

inst.php не сделал, огромное спасибо!

не за что.
 

[g2grs]

21 час назад, Rassol2 сказал:

Здравствуйте.
А скриншот таки скиньте если есть возможность. Я бы хотел увидеть что значит ссылки не в колонку, а в строку. Вдруг это какой то баг.

[Rassol2]

2 минуты назад, g2grs сказал:

так вы же сами так сформировали.
У вас между ссылками стоит разделитель {csvnc} который обозначает переход на новую колонку.
Поставьте на его место {csvnl} и переход будет не на новую колонку а на новую строку.

[g2grs]

31 минуту назад, Rassol2 сказал:

так вы же сами так сформировали.
У вас между ссылками стоит разделитель {csvnc} который обозначает переход на новую колонку.
Поставьте на его место {csvnl} и переход будет не на новую колонку а на новую строку.

а спасибо !