Jump to content
Sign in to follow this  
Rashp

Помогите советом пожалуйста боты валят сайт

Recommended Posts

Помогите пожалуйста советом, идет оч большая нагрузка на сайт и базу от ботов

 

идут с:

37.58.100.88 - - [20/Jul/2014:01:59:42 +0400] "GET /chulki/?filter=m:37&page=2 HTTP/1.0" 200 10952 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)"

и MJ12bot/v1.4.5, DotBot/1.1

 

основную проблему создает MJ12bot/v1.4.5

 

Все они заблокированы по IP на уровне подсети по маске *.*.*. или *.*.

 

а также есть список ботов .htaccess в виде: 

SetEnvIfNoCase User-Agent "^DotBot/1.1" bad_bot  

<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>

но они каким то образом это все обходят :(

устал постоянно их банить, да и сайт в кому впадает по паре раз в день :(, хостинг виртуальный ngnix, провайдер ур0д склоняет к выделенному серверу но это пока дороговато и конфигурить не хочется самому(

 

 

подскажите плз как снизить нагрузку на сайт?

Share this post


Link to post
Share on other sites

Посмотрите логи сервера, с какого ip идут, и закройте в htacess

Share this post


Link to post
Share on other sites

Посмотрите логи сервера, с какого ip идут, и закройте в htacess

 

я же написал, не спасает пробивают (

 

даже на уровне 000.000. я не говорю про 000.000.000.

 

я из access-logs 3 день не вылезаю

Share this post


Link to post
Share on other sites

сейчас вот еще в robots.txt закрыл от индексации

Disallow: /*?filter_tag=
Disallow: /*?filter=

вроде пока прекратилось, посмотрим дальше.

 

Еще вопрос, а кто пользовался cloudflare.com?

Share this post


Link to post
Share on other sites

Еще один вопрос, как можно вывести свою 403 страницу?  (РЕШЕНО)

Share this post


Link to post
Share on other sites

как прикольно эта штука долбится в закрытую калитку :) 

Share this post


Link to post
Share on other sites

как прикольно эта штука долбится в закрытую калитку :)

Привет у меня такая же ситуация, а можешь написать тут свой .htacess  а то у меня вобще пустой и таже ситуация

Share this post


Link to post
Share on other sites

Привет у меня такая же ситуация, а можешь написать тут свой .htacess а то у меня вобще пустой и таже ситуация

переезжайте на нормальный хостинг и будет вам счастье )

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.