Как заблокировать Ботов на сайте

[seolink]

Добрый день уважаемые пользователи, подскажите как можно заблокировать надоедлевого бота.

 

Вот список ботов, которые заходили:

site32.simple-share-buttons.com

ресурс buttons-for-website.com

за 1-5 сек 32 хоста

также бывает

semalt.com

 

Думаю подобное наблюдается часто возможно уже кто то заблокировал подобные запросы.

В инете есть варианты под другие движки но под опенкарт не нашел :(

[afwollis]

В инете есть варианты под другие движки

и что там предлагают?

[seolink]

RewriteEngine On
Options +FollowSymlinks
RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*semalt\.com\ [NC,OR]
RewriteRule .* – [F]

 

RewriteEngine on
RewriteCond %{HTTP_REFERER} blackhatworth\.com [NC,OR]
RewriteCond %{HTTP_REFERER} blackhatworth\.com [NC,OR]
RewriteCond %{HTTP_REFERER} hulfingtonpost\.com [NC,OR]
RewriteCond %{HTTP_REFERER} forum.topic50329470.darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.co [NC,OR]
RewriteCond %{HTTP_REFERER} econom\.co [NC,OR]
RewriteCond %{HTTP_REFERER} shopping.ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} priceg\.com
RewriteRule .* — [F]

[afwollis]

>> Вот список ботов, которые заходили:

это referer или useragent?

---

делай

RewriteEngine on
...

>>

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^https?://([^.]+\.)*semalt\.com\ [NC,OR]
RewriteCond %{HTTP_REFERER} blackhatworth\.com [NC,OR]
RewriteCond %{HTTP_REFERER} blackhatworth\.com [NC,OR]
RewriteCond %{HTTP_REFERER} hulfingtonpost\.com [NC,OR]
RewriteCond %{HTTP_REFERER} forum.topic50329470.darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.co [NC,OR]
RewriteCond %{HTTP_REFERER} econom\.co [NC,OR]
RewriteCond %{HTTP_REFERER} shopping.ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} priceg\.com
RewriteRule .* - [F]
...

почитать в доках apache: Using mod_rewrite to control access # Blocking of Robots

[seolink]

>> Вот список ботов, которые заходили:

это referer или useragent?

 

 

site32.simple-share-buttons.com как проверить не знаю есть гугл аналитика и метрика

[seolink]

Вставил после

# SEO URL Settings   Сюда переадресацию
RewriteEngine On

не заработало

вот мой

.htaccess

AddDefaultCharset UTF-8
# 1.To use URL Alias you need to be running apache with mod_rewrite enabled. 

# 2. In your opencart directory rename htaccess.txt to .htaccess.

# For any support issues please visit: http://www.opencart.com


# Prevent Directoy listing 
Options -Indexes

# Prevent Direct Access to files
<FilesMatch "\.(tpl|ini|log)">
 Order deny,allow
 Deny from all
</FilesMatch>

# SEO URL Settings   Сюда переадресацию
RewriteEngine On

RewriteCond %{QUERY_STRING} ^_route_=topper_futons/$
RewriteRule ^(.*)$ http://САЙТ.com.ua/spalny/toppery/? [R=301,L]

# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/ 

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/fast_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteRule ^download/(.*) /index.php?route=error/not_found [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

### Additional Settings that may need to be enabled for some servers 
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off

# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M

# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M

# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200

# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200

# 7. disable open_basedir limitations
# php_admin_value open_basedir none

Змінено 15 березня 2015 користувачем afwollis

[afwollis]

не вникал ни в то, ни в другое - не знаю, как там узнать "кто есть кто" :-)

и еще - с чего ты решил, что это "бот" (может у тебя их кнопки "поделиться" используются)?

upd:

1. что значит "не заработало"?

2. ХРЕНЬ

RewriteCond %{QUERY_STRING} ^_route_=topper_futons/$
RewriteRule ^(.*)$ http://САЙТ.com.ua/spalny/toppery/? [R=301,L]

полистай мои посты (поиск -> "RewriteRule" + автор afwollis + показать "как сообщения") Змінено 15 березня 2015 користувачем afwollis
upd:

[puno]

Блокируй по IP адресу.

[seolink]

Блокируй по IP адресу.

Каждый день меняется ип не реально заблокировать.

Реферер

http://buttons-for-website.com

Как его заблокировать можно именно по переходу с этого ресурса?

[freelancer]

RewriteEngine on

RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com [NC]
RewriteRule .* - [F]