Перейти к содержанию
Rashp

Помогите советом пожалуйста боты валят сайт

Рекомендуемые сообщения

Помогите пожалуйста советом, идет оч большая нагрузка на сайт и базу от ботов

 

идут с:

37.58.100.88 - - [20/Jul/2014:01:59:42 +0400] "GET /chulki/?filter=m:37&page=2 HTTP/1.0" 200 10952 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"

и MJ12bot/v1.4.5, DotBot/1.1

 

основную проблему создает MJ12bot/v1.4.5

 

Все они заблокированы по IP на уровне подсети по маске *.*.*. или *.*.

 

а также есть список ботов .htaccess в виде: 

SetEnvIfNoCase User-Agent "^DotBot/1.1" bad_bot  

<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>

но они каким то образом это все обходят :(

устал постоянно их банить, да и сайт в кому впадает по паре раз в день :(, хостинг виртуальный ngnix, провайдер ур0д склоняет к выделенному серверу но это пока дороговато и конфигурить не хочется самому(

 

 

подскажите плз как снизить нагрузку на сайт?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Посмотрите логи сервера, с какого ip идут, и закройте в htacess

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Посмотрите логи сервера, с какого ip идут, и закройте в htacess

 

я же написал, не спасает пробивают (

 

даже на уровне 000.000. я не говорю про 000.000.000.

 

я из access-logs 3 день не вылезаю

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

сейчас вот еще в robots.txt закрыл от индексации

Disallow: /*?filter_tag=
Disallow: /*?filter=

вроде пока прекратилось, посмотрим дальше.

 

Еще вопрос, а кто пользовался cloudflare.com?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Еще один вопрос, как можно вывести свою 403 страницу?  (РЕШЕНО)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

как прикольно эта штука долбится в закрытую калитку :) 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

как прикольно эта штука долбится в закрытую калитку :)

Привет у меня такая же ситуация, а можешь написать тут свой .htacess  а то у меня вобще пустой и таже ситуация

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Привет у меня такая же ситуация, а можешь написать тут свой .htacess а то у меня вобще пустой и таже ситуация

переезжайте на нормальный хостинг и будет вам счастье )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.