Помогите советом пожалуйста боты валят сайт

[Rashp]

Помогите пожалуйста советом, идет оч большая нагрузка на сайт и базу от ботов

 

идут с:

37.58.100.88 - - [20/Jul/2014:01:59:42 +0400] "GET /chulki/?filter=m:37&page=2 HTTP/1.0" 200 10952 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"

и MJ12bot/v1.4.5, DotBot/1.1

 

основную проблему создает MJ12bot/v1.4.5

 

Все они заблокированы по IP на уровне подсети по маске *.*.*. или *.*.

 

а также есть список ботов .htaccess в виде: 

SetEnvIfNoCase User-Agent "^DotBot/1.1" bad_bot  

<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>

но они каким то образом это все обходят :(

устал постоянно их банить, да и сайт в кому впадает по паре раз в день :(, хостинг виртуальный ngnix, провайдер ур0д склоняет к выделенному серверу но это пока дороговато и конфигурить не хочется самому(

 

 

подскажите плз как снизить нагрузку на сайт?

[snastik]

Посмотрите логи сервера, с какого ip идут, и закройте в htacess

[Rashp]

Посмотрите логи сервера, с какого ip идут, и закройте в htacess

 

я же написал, не спасает пробивают (

 

даже на уровне 000.000. я не говорю про 000.000.000.

 

я из access-logs 3 день не вылезаю

[Rashp]

сейчас вот еще в robots.txt закрыл от индексации

Disallow: /*?filter_tag=
Disallow: /*?filter=

вроде пока прекратилось, посмотрим дальше.

 

Еще вопрос, а кто пользовался cloudflare.com?

[Rashp]

Еще один вопрос, как можно вывести свою 403 страницу?  (РЕШЕНО)

[Rashp]

как прикольно эта штука долбится в закрытую калитку :) 

[wwweb]

как прикольно эта штука долбится в закрытую калитку :)

Привет у меня такая же ситуация, а можешь написать тут свой .htacess  а то у меня вобще пустой и таже ситуация

[Rashp]

Привет у меня такая же ситуация, а можешь написать тут свой .htacess а то у меня вобще пустой и таже ситуация

переезжайте на нормальный хостинг и будет вам счастье )