[Поддержка] SimplePars - Універсальний парсер для ІМ

[rozario888]

Тоже сейчас буду пробовать крон настроить на обновление остатков. Если у меня два артикула...один основной и другой альтернативный(старый/новый), то их через запятую указать? Тогда в случае отсутствия первого, по второму парсинг пройдет или так не работает?

 

[Rassol2]

2 часа назад, yurok79 сказал:

Так же через кукисы? Просто у меня не сработало. Продолжать ковырять?

 

Еще вопрос как в настройках КРОН прописать чтобы действие выполнялось в 12, 14, 16, 18 часов. Если прописать через запятую при сохранении она удаляется. Подскажите пожалуйста.

Создать два задания.
1. Выполнять в 12.
2. Выполнять с 14 до 18 с тайм аутом в 2 часа.
но при этом задание должно выполнятся довольно быстро если вы хотите так часто что то парсить.

[Rassol2]

14 минут назад, rozario888 сказал:

Тоже сейчас буду пробовать крон настроить на обновление остатков. Если у меня два артикула...один основной и другой альтернативный(старый/новый), то их через запятую указать? Тогда в случае отсутствия первого, по второму парсинг пройдет или так не работает?

нет так не работает.
Создавайте два задания с указанием разных артикулов. Артикул это базовое значение и оно должно быть.

[partshez]

24 минуты назад, Rassol2 сказал:

Создать два задания.
1. Выполнять в 12.
2. Выполнять с 14 до 18 с тайм аутом в 2 часа.
но при этом задание должно выполнятся довольно быстро если вы хотите так часто что то парсить.

Второе задание выполнится 2 раза, не более при таких настройках. Хотя бы время указать с 14 до 19 или 20. Я так думаю

Змінено 8 травня 2021 користувачем partshez

[rozario888]

25 минут назад, Rassol2 сказал:

нет так не работает.
Создавайте два задания с указанием разных артикулов. Артикул это базовое значение и оно должно быть.

я че то поспешил и неправильно вопрос задал)) на сайте донора один артикул, но у себя на сайте их в базе два, альтернативный через АОП задан - http://prntscr.com/12o6zxg . В этом случае идентификация донорского через оба пройдет или только основной?

[Rassol2]

2 минуты назад, rozario888 сказал:

я че то поспешил и неправильно вопрос задал)) на сайте донора один артикул, но у себя на сайте их в базе два, альтернативный через АОП задан - http://prntscr.com/12o6zxg . В этом случае идентификация донорского через оба пройдет или только основной?

В один определенный момент, в модуле может идентифицироваться товар только по одному идентификатору.
Выбираете какое поле вы хотите идентифицировать и вперед.
https://simplepars.top/index.php?page=note&n=40

 

Но если вы хотите идентифицировать товар по двум разным полям, то создавайте два проекта, и выбираете разные поля идентификатора и прогоняйте.
Да и вы всегда можете произвести тест вашей теории, не забывайте что все можно проверить на практике.

[rozario888]

1 час назад, Rassol2 сказал:

Но если вы хотите идентифицировать товар по двум разным полям, то создавайте два проекта, и выбираете разные поля идентификатора и прогоняйте.

так не выйдет, потому что сложно понять по какому будет остаток, чтобы вдруг 0 не затер 1. хотя может он его просто не найдет.

в общем попробую как есть, отпишусь 

Змінено 8 травня 2021 користувачем rozario888

[ditex]

Добрый день, появился вопрос.

Нужно спарсить товары с ресурса, который любит выводить страницу с капчей гугла вместо запрошенной ссылки, если начинает подозревать парсинг и при этом он очень параноидальный. Блокировки полезли уже в момент настройки даже.

Мне нужно спарсить в CSV, но когда выходит эта страничка с капчей продолжается заполнение файла пустыми значениями. (а т.к. придётся ставить паузу парсинга минута+, то это очень печально).
1. Как остановить парсинг, если началась "блокировка"? Проверка границ в лог запись пишет, если бы можно было в менеджер URL записывать ошибку по имени правила допуска - уже было бы проще с такой ситуацией работать и формировать список пропущенных адресов.
2. Можно ли как-нибудь руками тыкнуть в эту капчу от имени сервера? iframe загружает естественно не то, что выдаётся серверу.

Версия v4.3_stable

[Rassol2]

Добрый день, появился вопрос.

Нужно спарсить товары с ресурса, который любит выводить страницу с капчей гугла вместо запрошенной ссылки, если начинает подозревать парсинг и при этом он очень параноидальный. Блокировки полезли уже в момент настройки даже.
Мне нужно спарсить в CSV, но когда выходит эта страничка с капчей продолжается заполнение файла пустыми значениями. (а т.к. придётся ставить паузу парсинга минута+, то это очень печально).
1. Как остановить парсинг, если началась "блокировка"? Проверка границ в лог запись пишет, если бы можно было в менеджер URL записывать ошибку по имени правила допуска - уже было бы проще с такой ситуацией работать и формировать список пропущенных адресов.
2. Можно ли как-нибудь руками тыкнуть в эту капчу от имени сервера? iframe загружает естественно не то, что выдаётся серверу.

Версия v4.3_stable

Можно настроить остановку если сайт выдает captcha.
Вообще-то должна была выйти в следующих обновлениях но уже в принципе сейчас можно это сделать.

Комментируйте настройка авторизации укажите любую ссылку для авторизации и любой текст в данных авторизации выберите метод post запрос.
Укажите проверочный текст только проверочный текст должен быть тот который есть на странице без капчи.
Выберите parsons авторизация методом post.
И всё теперь если модуль не будет видеть проверочный текст на странице авторизации он будет останавливать парсинг

Parsons авторизация доступен с последних бета-версии. Сейчас телефона более подробно подсказать не могу но в принципе расписал всё правильно. Можете посмотреть информацию про авторизацию и поймёте как это сделать.

Отправлено с телефона через Tapatalk

[Dmitry76]

20 часов назад, Rassol2 сказал:

Включите вот тут выводить поменьше ссылок.
 

  Показать контент

Наверное хрому сложно отобразить большое кол-во ссылок.

у меня выводится 115 000 ссылок. Правда загружается страничка больше пол минуты.

[Kiyoshi]

14 минут назад, Dmitry76 сказал:

у меня выводится 115 000 ссылок. Правда загружается страничка больше пол минуты.

Очень  давно сталкивался с подобным правда на тот момент у меня было включено показывать все ссылки и было их за сто тысяч, попробуйте поставить 100 ссылок мне помогло.

Змінено 8 травня 2021 користувачем Kiyoshi

[ditex]

1 час назад, Rassol2 сказал:

Сейчас телефона более подробно подсказать не могу но в принципе расписал всё правильно.

Спасибо, разобрался - всё работает.

[Dmitry76]

1 час назад, Kiyoshi сказал:

Очень  давно сталкивался с подобным правда на тот момент у меня было включено показывать все ссылки и было их за сто тысяч, попробуйте поставить 100 ссылок мне помогло.

так а у меня с этим нет проблем. Я именно об этом и написал, что даже при таком количестве - все норм.

[Rassol2]

так а у меня с этим нет проблем. Я именно об этом и написал, что даже при таком количестве - все норм.

У кого слабых хостинг с малым количеством ОЗУ он не потянет вывод 100 000 ссылок.
А у кого норм хостинг но слабый ноут то хостинг отдаст ссылки но браузер закепит при выводе всех ссылок.

И только у кого есть и то и другое может выводить такие объемы.

Но это не имеет никакого смысла ))

Отправлено с телефона через Tapatalk

[ditex]

18 часов назад, ditex сказал:

Можно ли как-нибудь руками тыкнуть в эту капчу от имени сервера? iframe загружает естественно не то, что выдаётся серверу.

Может кому будет полезно. Решил эту проблему подняв у себя на ПК прокси через простую софтину 3proxy. Настроил парсер на использования этой прокси и теперь когда происходит блокировка можно тыкныть в капчу и продолжить.

[yurok79]

50 минут назад, ditex сказал:

Может кому будет полезно. Решил эту проблему подняв у себя на ПК прокси через простую софтину 3proxy. Настроил парсер на использования этой прокси и теперь когда происходит блокировка можно тыкныть в капчу и продолжить.

А где вы капчу тыкаете, как настроить подробнее не расскажете?

[ditex]

1 час назад, yurok79 сказал:

А где вы капчу тыкаете, как настроить подробнее не расскажете?

 

Установил 3proxy, вот базовая инструкция. Скачать, создать конфиг файл с тремя строчками, запустить. Тонкий момент - открыть порт 3128 на роутере (нужно инструкцию для своего девайса смотреть).

Далее в парсере в "Настройке запросов" подключить свой созданный прокси сервер. Через проверку авторизации сделать проверку нормальная страница выводится или капча, как Rassol2 выше мне описал.

Теперь при выводе капчи будет сбой парсинга и в "настройке парсинга" если тыкнуть по любой ссылке вывод серверу будет совпадать с выводом в iframe



Можно нажать "я не робот" и запустить парсинг до следующего сбоя.
 

[Dmitry76]

Всем привет и с праздником!
Подскажите, образовалась проблемка с ответом донора.
Поменял сервер на хостинге и теперь донор сразу стал блокировать, даже в настройках парсинга не дает посмотреть страничку. В логах выдается ОТВЕТ  | Forbidden, доступ запрещен. Ответ сервера [403] Ссылка | https://ww...
Пробовал прокси прописать - Код ответа = 56 | Текст ответа = Proxy CONNECT aborted.
И еще такую ошибку иногда выдает иногда: ОШИБКА ответа  | Код ответа = 47 | Текст ответа = Maximum (100) redirects followed | Ссылка - https:
Ранее, когда на старом сервере сайт был, мог парсить донора без всяких прокси, хоть в 5 потоков, без каких-либо проблем. 
Настройки такие сейчас выставлены: 

Змінено 9 травня 2021 користувачем Dmitry76

[partshez]

49 минут назад, Dmitry76 сказал:

Всем привет и с праздником!
Подскажите, образовалась проблемка с ответом донора.
Поменял сервер на хостинге и теперь донор сразу стал блокировать, даже в настройках парсинга не дает посмотреть страничку. В логах выдается ОТВЕТ  | Forbidden, доступ запрещен. Ответ сервера [403] Ссылка | https://ww...
Пробовал прокси прописать - Код ответа = 56 | Текст ответа = Proxy CONNECT aborted.
И еще такую ошибку иногда выдает иногда: ОШИБКА ответа  | Код ответа = 47 | Текст ответа = Maximum (100) redirects followed | Ссылка - https:
Ранее, когда на старом сервере сайт был, мог парсить донора без всяких прокси, хоть в 5 потоков, без каких-либо проблем. 
Настройки такие сейчас выставлены: 

Дайте ссылку на донора. Может быть админ уехал на маевку и отключил сайт? 

Попробуйте открыть сайт донора через другой браузер, с другого компа или с телефона

Змінено 9 травня 2021 користувачем partshez

[Dmitry76]

20 минут назад, partshez сказал:

Дайте ссылку на донора. Может быть админ уехал на маевку и отключил сайт? 

Попробуйте открыть сайт донора через другой браузер, с другого компа или с телефона

Спасибо, Сергей. Вот сейчас подставил другой прокси, дал ответ, все норм. 
Не понимаю, в чем отличие старого ip моего сервера от нового? Со старого все безпроблемно работало, а теперь вот с прокси колдовать приходится  .
Сейчас на новый хостинг вообще сайт переношу, на vps сервер, что там ждет, непонятно теперь

[Dmitry76]

24 минуты назад, partshez сказал:

Дайте ссылку на донора. Может быть админ уехал на маевку и отключил сайт? 

Попробуйте открыть сайт донора через другой браузер, с другого компа или с телефона

 Так-то в браузере просто - без проблем открывается сайт. В настройках парсинга только не получалось

[lololod3]

Добрый день. Настраивал парсинг на 39к товаров, всё спарсилось но нсейчвс не могу попасть на сайт, в чем может быть ппоблема? ошибка 502 BatGateway 

[Flint2000]

15 хвилин назад, lololod3 сказав:

ошибка 502 BatGateway 

Проблема в том, что большим количеством товаров положили apache. Попробуйте выключить подсчет товаров в категориях

[Rassol2]

15 часов назад, Dmitry76 сказал:

Не понимаю, в чем отличие старого ip моего сервера от нового?

Есть ip которые засветились в всяких нечистых делах. И хостинги ведут запись таких вот ip. И вот если с того ip что у вас блокируют когда то делали плохие вещи, он попал в блэк лист. И теперь уже вы работая с этого ip заранее занесены в блэк лист.
Как то так.
 

[Rassol2]

Обновление v4.4-5_beta
Очередная доработка в авторизации.
Исправления для тех кто работает с авторизацией в таком формате.
 

Спойлер

 

На данный момент пофиксены все известные проблемы с функцией авторизации.
Если ближайшие время больше ничего не всплывет, то скоро будет выпущена версия с работой Автоматической авторизации через Крон.