Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Кидала YaSe


Recommended Posts

Из трёх два работают.

у меня сейчас работает только при 1-1 и парсит максимум 30 товаров в одну категорию.

А хостер не хочет IP менять, хоть с донором договаривайся)

Надіслати
Поділитися на інших сайтах


у меня сейчас работает только при 1-1 и парсит максимум 30 товаров в одну категорию.

А хостер не хочет IP менять, хоть с донором договаривайся)

а прокси сервер не выход?
Надіслати
Поділитися на інших сайтах


а прокси сервер не выход?

А как он изменить IP магазина?

хостер сказал, что руками менять "не умеют", предложили зарегистрировать аккаунт заново, тогда будет присвоен новый IP.

Надіслати
Поділитися на інших сайтах


С сайтом донором если там вменяемые люди можно договориться.

Что впрочем я и сделал.

спасибо пользователю MaxD подсказал правильное направление хоть и косьвенно)

И куча головняка отпала сразу.

Hello!
I am a representative the Internet shop *****.ru.
Would like to sell your goods.
But your Firewall constantly disconnects from your site
also let's carry out updating of the prices and the goods.
my ip ***.***.***.***
my Internet shop ***.ru
Please change limits to number of connections.
Thanks
Yury.
Затем последовали вопросы

типа зачем это - как работает - сколько надо

ни на один вопрос не ответил но все включили

максимум (случайно) парсило 300 товаров в минуту, но так и не забанили

Надіслати
Поділитися на інших сайтах


А может всем выложить свои карты в смысле доноров и так можно будет найти союзников в решении проблемы!)

Надіслати
Поділитися на інших сайтах

и представителя выбрать, чтоб к донору всей толпой не идти)

:-D

По большому счёту ,доноры должны идти на встречу ,так как это их товар ,увеличение продаж и бесплатная реклама.

Надіслати
Поділитися на інших сайтах

С другой стороны, если таких наберется человек 20, а это как минимум по 1000 запросов в день.

При 2-1 за 6 часов обновило/добавило 100 товаров, написал донору письмо "по образцу" - лишь бы хуже не стало)

Иначе сдам ближайшего конкурента, занимающегося тем же самым)

Надіслати
Поділитися на інших сайтах


Хех, я уже как-то мечтал на тему сервиса, который парсит магазины - и где сами заинтересованные доноры следят за настройкой своего парсинга, что бы всем было удобно брать их данные )))

Я вернулся с поездочки. Поддерживаю мысль Тома Соера с "опубличиванием" парсера. Хотя в принципе его можно по быстрому переписать, но как-то лень.

Надіслати
Поділитися на інших сайтах

А как он изменить IP магазина?

хостер сказал, что руками менять "не умеют", предложили зарегистрировать аккаунт заново, тогда будет присвоен новый IP.

Можно сделать так, чтобы парсер работал через прокси сервера, а в идеале через несколько. Тогда сервер "донора" не будит подозрительно относится к парсингу подозревая вас в DDOS`е и соответсвенно не будит банить.
Надіслати
Поділитися на інших сайтах


Хех, я уже как-то мечтал на тему сервиса, который парсит магазины - и где сами заинтересованные доноры следят за настройкой своего парсинга, что бы всем было удобно брать их данные )))

Я вернулся с поездочки. Поддерживаю мысль Тома Соера с "опубличиванием" парсера. Хотя в принципе его можно по быстрому переписать, но как-то лень.

Все, читаю и читаю - ПОДОЗРЕВАЮ :-D Что тебе уже есть что предложить, в смысле парс...

Или я крайне сильно, подозрительный?!

Надіслати
Поділитися на інших сайтах


Все, читаю и читаю - ПОДОЗРЕВАЮ :-D Что тебе уже есть что предложить, в смысле парс...

Или я крайне сильно, подозрительный?!

Увы, пока что кроме хороших идей ничего нет. Тема интересная, и ручки очень сильно чешутся "броситься в бой"... Но я себя сдерживаю - куча работы, конец года, "незавершенки" и всё такое.

Хотя после нового года я могу и "сорваться" )))

Надіслати
Поділитися на інших сайтах

Увы, пока что кроме хороших идей ничего нет. Тема интересная, и ручки очень сильно чешутся "броситься в бой"... Но я себя сдерживаю - куча работы, конец года, "незавершенки" и всё такое.

Хотя после нового года я могу и "сорваться" )))

Давно пора кому нибудь сорваться!)))

Надіслати
Поділитися на інших сайтах

Можно сделать так, чтобы парсер работал через прокси сервера, а в идеале через несколько. Тогда сервер "донора" не будит подозрительно относится к парсингу подозревая вас в DDOS`е и соответсвенно не будит банить.

а как это сделать? в настройках хоста никакие настройки не доступны, в парсере тоже.
Надіслати
Поділитися на інших сайтах


а как это сделать? в настройках хоста никакие настройки не доступны, в парсере тоже.

В настройках хоста такого и не будит. А что касается парсера, то можно дописать возможность работы через прокси.
Надіслати
Поділитися на інших сайтах


а как?)

Чуствую я ,что все эти решения по поводу исправления недоделок по парсеру к ДЕНЬГАМ :ugeek:

Надіслати
Поділитися на інших сайтах

Я там раньше кидал ссылочку на код, как это делается, и один парень даже сделал себе хождение через прокси.

Но на самом деле это фигня. Ваше прокси так же банят через некоторое время. Поэтому надо накодить какое-то автоматическое решение, которое использует список прокси, выбирает из них рабочие, периодически их меняет, жалуется, когда список прокси кончается и т. д.

Надіслати
Поділитися на інших сайтах

Просто думаю, что забанили, т.к. слишком большое количество запросов было. Парсер настроили, чтобы за раз 10 категорий и 15 товаров и запускался раз в 5 минут, а он запускался раз в 2 минуты.

Сейчас хоть и забанен, но по чуть-чуть качается и обновляется. Может если много не качать, то не забанят.

Поэтому, если можно, дайте еще раз ссылку на код, может получится что-то сделать)

Надіслати
Поділитися на інших сайтах


Я там раньше кидал ссылочку на код, как это делается, и один парень даже сделал себе хождение через прокси.

Но на самом деле это фигня. Ваше прокси так же банят через некоторое время. Поэтому надо накодить какое-то автоматическое решение, которое использует список прокси, выбирает из них рабочие, периодически их меняет, жалуется, когда список прокси кончается и т. д.

Так ВОТ статья по теме.
Надіслати
Поділитися на інших сайтах


Кто подавал иск на нашего героя в арбитраж webmoney? Только меня порадовали сим известием? :-)

Значительных средств на кошельках ответчика нет. Сделка не фиксировалась. Данные, указанные при регистрации wmid ответчика, сорее всего фиктивные. Иск закрывается, рекомендуем оставить претензию. Обслуживание ответчика приостанавливаем. Если он выйдет на связь, мы сообщим ему о необходимости решить вопрос с Вами.

Надіслати
Поділитися на інших сайтах

Гість
Ця тема закрита для публікації повідомлень.
  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку
Гість
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.