ClaudeBot ЗАМАНАЛ!!!!!

Yoda · 20 травня

На паре десятков магазинов за последнюю неделю этот паразит создает дикую нагрузку!

Закрывайте его в htaccess или в конфиге nginx.

Ну реальный паразит DDOSер.

NGINX:

if ($http_user_agent ~ "ClaudeBot")
    {return 444;}

Apache:

как то так (там еще куча зверей в примере - их чпокнуть тоже не помешает ...

<IfModule mod_rewrite.c>
  RewriteEngine on
  RewriteBase /
  RewriteCond %{HTTP_USER_AGENT} ("ClaudeBot"|"Ahrefs"|"AhrefsBot/6.1"|"AspiegelBot"|"Baiduspider"|"BLEXBot"|"Bytespider"|"claudebot"|"Datanyze"|"Kinza"|"LieBaoFast"|"Mb2345Browser"|"MicroMessenger"|"OPPO\sA33"|"PetalBot"|"SemrushBot"|"serpstatbot"|"spaziodati"|"YandexBot"|"YandexBot/3.0"|"zh-CN"|"zh_CN") [NC]
  RewriteRule ^ - [F,L]
</IfModule>

NotSlow · 21 травня

тут в таких случаях принято советовать:

15.05.2024 в 00:11, Yoda сказал:

Лечу от перевантажень. Дорого!

забанить конечно можно, но завтра на его месте окажется googlebot и его ж не забанишь.

у меня так в http секции nginx:

        map $http_user_agent $blockagent{
                default 0;
                '~MauiBot' 1;
                '~webmeup-crawler.com' 1;
                '~mj12bot.com' 1;
                '~petalsearch.com' 1;
                '~dataforseo.com' 1;
                '~ahrefs.com' 1;
                '~opensiteexplorer.org' 1;
                '~seostar.co' 1;
                '~serpstatbot.com' 1;
                '~search.com.ua' 1;
                '~ltx71.com' 1;
                '~megaindex.com' 1;
                '~ahrefs.com' 1;
                '~Screaming Frog' 1;
                '~amazonbot' 1;
                '~semrush.com' 1;
                '~site-analyzer.pro' 1;
                '~seekport.com' 1;
                '~criteo.com' 1;
                '~babbar.tech' 1;
                '~website-datenbank.de' 1;
                '~velen.io' 1;
                '~gptbot' 1;
                '~pr-cy.ru' 1;
                '~RainBot' 1;
                '~openai.com' 1;
                '~bytedance.com' 1;
                '~geedo.com' 1;
                '~my-tiny-bot' 1;
                '~fidget-spinner-bot' 1;
                '~thesis-research-bot' 1;
                '~ClaudeBot' 1;
                '~imagesift.com' 1;
                '~Go-http-client' 1;
                '~FeedBurner.com' 1;
                '~timpi.io' 1;
                '~leipzig.de' 1;
        }

и в server секции так:

if ($blockagent){
        return 403;
}

но это не решает на 100%

были и будут новые боты.

причем эти все еще нормальные, а есть и тьма таких, что user agent'ом не выделяются.

для них есть еще другая своя защита, аналог как у cloudflare проверка браузера на javascript

но и даже она на 100% не отбивает зверье.

самый верный способ - делать быстрый сайт. чтоб время ответа сервера было не выше 100мс и тогда плевать на ботов

Змінено 21 травня користувачем NotSlow

SSHEVA · 21 травня

В мене так Амазон бот доє...., довелося заблочити, тому що тупо по 300 - 500 заходів за декілька хвилин.

Причому заблочив, а система пише в день таких заблочиних по 3 0000 ip

Yoda · 22 травня

21.05.2024 в 10:22, NotSlow сказал:
тут в таких случаях принято советовать:

забанить конечно можно, но завтра на его месте окажется googlebot и его ж не забанишь.

у меня так в http секции nginx:
        map $http_user_agent $blockagent{
                default 0;
                '~MauiBot' 1;
                '~webmeup-crawler.com' 1;
                '~mj12bot.com' 1;
                '~petalsearch.com' 1;
                '~dataforseo.com' 1;
                '~ahrefs.com' 1;
                '~opensiteexplorer.org' 1;
                '~seostar.co' 1;
                '~serpstatbot.com' 1;
                '~search.com.ua' 1;
                '~ltx71.com' 1;
                '~megaindex.com' 1;
                '~ahrefs.com' 1;
                '~Screaming Frog' 1;
                '~amazonbot' 1;
                '~semrush.com' 1;
                '~site-analyzer.pro' 1;
                '~seekport.com' 1;
                '~criteo.com' 1;
                '~babbar.tech' 1;
                '~website-datenbank.de' 1;
                '~velen.io' 1;
                '~gptbot' 1;
                '~pr-cy.ru' 1;
                '~RainBot' 1;
                '~openai.com' 1;
                '~bytedance.com' 1;
                '~geedo.com' 1;
                '~my-tiny-bot' 1;
                '~fidget-spinner-bot' 1;
                '~thesis-research-bot' 1;
                '~ClaudeBot' 1;
                '~imagesift.com' 1;
                '~Go-http-client' 1;
                '~FeedBurner.com' 1;
                '~timpi.io' 1;
                '~leipzig.de' 1;
        }
и в server секции так:
if ($blockagent){
        return 403;
}
но это не решает на 100%

были и будут новые боты.

причем эти все еще нормальные, а есть и тьма таких, что user agent'ом не выделяются.

для них есть еще другая своя защита, аналог как у cloudflare проверка браузера на javascript

но и даже она на 100% не отбивает зверье.

самый верный способ - делать быстрый сайт. чтоб время ответа сервера было не выше 100мс и тогда плевать на ботов

Не неси чушь. Гугл бот очень нежно и аккуратно сканирует сайты. А эта AI хрень херачит как himars без разбора и без лимитов.

Прежде чем писать такой бред идём в Гугл и читаем про google bot crowl budget.

Yoda · 22 травня

21.05.2024 в 13:48, SSHEVA сказал:

В мене так Амазон бот доє...., довелося заблочити, тому що тупо по 300 - 500 заходів за декілька хвилин.

Причому заблочив, а система пише в день таких заблочиних по 3 0000 ip

3000 то мелочи. У нас тут порядка 200к в день и оно не останавливается.

NotSlow · 22 травня

200к на паре десятков или на одном?

глянул у себя на одном из клиентских сайтов только гуглбота за сутки 10-15к запросов приходит.

да, он он обычно не долбит по штук 5 запросов/сек как это делал яндексбот например.

но посыл мой был в том, что кто знает что будет завтра? если и гуглбот начнет также. или если просто живого траффика будет 200к?

потому в первую очередь сайт должен "летать". а переживать за ботов - вторично.

ну и кроме ботов совершенно в любой момент какая-то зараза решит прогнать парсером сайт, и тоже никто там даже не подумает делать задержки между запросами... штук 20-50 запросов/сек (а то и больше) влупят и плевать им на все.

нервы беречь надо :]

спокойненько иметь себе средства мониторинга и средства защиты от подобных набегов, чтоб оперативно пресекать.

Змінено 22 травня користувачем NotSlow

SSHEVA · 22 травня

22.05.2024 в 08:49, Yoda сказал:

3000 то мелочи. У нас тут порядка 200к в день и оно не останавливается.

Згоден, але ця ху.. ня ще і пошукові запити прокидає не справжні.. Біди вистачає... Cloudflare виручає, але блін це якийсь капец.

MonstroDesign · 22 травня

Соглашусь с @SSHEVA Cloudflare - одно из самых гуманных решений. Особенно в нынешних реалиях. Некоторые хосты предоставляют его бесплатно...

Змінено 22 травня користувачем MonstroDesign

llSanik · 5 червня

Дякую за попередження!

Стикався з багатьма ботами, які дуже зручно відкидати через CloudFlare. Там дуже зручний та гнучкий функціонал по фаерволу, що можна закрити тільки важкі сторінки, та багато чого цікавого ще. Хоча у CloudFlare є і підводні камені. На клоуді 80% облачних сайтів, тому якщо його зломають, буде всім дуже боляче)

П.С. так, на клоуді вже були критичні помилки з безпеки, коли кукіси сессій з одного сайту, потрапляли до користувачів іншого сайту декілька років тому).

-------

А от ddos атака від Facebook це взагалі топчик) Я не знаю як, але хтось навчився насилати тисячі запитів через фейсбук прелоадер, який конектиться щоб подивитися тільки og:meta та дати превью в чатики) Блокувати це чудо не дуже добре, тому я зробив йому сторінки без тяжких запитів. Потрібні фільтрі? Отримуй без товарів. Потрібні тяжкі категорії або акійні сторінки? Все пусто, отримує свої og:data і йде геть)

П.С. так, Cache у мене є, на Redis, все чудово, доки менеджер не міняє данні(а вони такі, по 5 переоцінок за день ХД, ) і кеш тойго, і фейсбук привіт.

niger · 5 червня

21.05.2024 в 10:22, NotSlow сказал:
тут в таких случаях принято советовать:

забанить конечно можно, но завтра на его месте окажется googlebot и его ж не забанишь.

у меня так в http секции nginx:
        map $http_user_agent $blockagent{
                default 0;
                '~MauiBot' 1;
                '~webmeup-crawler.com' 1;
                '~mj12bot.com' 1;
                '~petalsearch.com' 1;
                '~dataforseo.com' 1;
                '~ahrefs.com' 1;
                '~opensiteexplorer.org' 1;
                '~seostar.co' 1;
                '~serpstatbot.com' 1;
                '~search.com.ua' 1;
                '~ltx71.com' 1;
                '~megaindex.com' 1;
                '~ahrefs.com' 1;
                '~Screaming Frog' 1;
                '~amazonbot' 1;
                '~semrush.com' 1;
                '~site-analyzer.pro' 1;
                '~seekport.com' 1;
                '~criteo.com' 1;
                '~babbar.tech' 1;
                '~website-datenbank.de' 1;
                '~velen.io' 1;
                '~gptbot' 1;
                '~pr-cy.ru' 1;
                '~RainBot' 1;
                '~openai.com' 1;
                '~bytedance.com' 1;
                '~geedo.com' 1;
                '~my-tiny-bot' 1;
                '~fidget-spinner-bot' 1;
                '~thesis-research-bot' 1;
                '~ClaudeBot' 1;
                '~imagesift.com' 1;
                '~Go-http-client' 1;
                '~FeedBurner.com' 1;
                '~timpi.io' 1;
                '~leipzig.de' 1;
        }
и в server секции так:
if ($blockagent){
        return 403;
}
но это не решает на 100%

были и будут новые боты.

причем эти все еще нормальные, а есть и тьма таких, что user agent'ом не выделяются.

для них есть еще другая своя защита, аналог как у cloudflare проверка браузера на javascript

но и даже она на 100% не отбивает зверье.

самый верный способ - делать быстрый сайт. чтоб время ответа сервера было не выше 100мс и тогда плевать на ботов

интересный у вас список. Много тулзов для реклащиков побанили (SЕО и РРС), и рекламные сети (DSP, SSP) даже есть. Прикольно.

Змінено 5 червня користувачем niger

NotSlow · 5 червня

Я и не призываю никого слепо копировать никакие списки, у каждого своя ситуация.

Просто показал на примере синтаксис конфига nginx.

Чтоб не if... и перечислять ботов в каждой server секции, а через map 1 раз список, а дальше уже по каждому сайту коротко.

_sashok · 5 червня

+
add in robots.txt:

User-agent: ClaudeBot
Disallow: /

Yoda · 5 червня

05.06.2024 в 21:53, _sashok сказал:
+
add in robots.txt:
User-agent: ClaudeBot
Disallow: /

Это плохое решение, так как бот приходя какое-то время на сервер все равно будет инициализировать генерацию 404 страниц, генерируемых движком.
Блокировка ботов должна осуществляться на уровне веб-сервера, чтобы не создавать нагрузку на php-интерпретатор и потоки.

Вхід

ClaudeBot ЗАМАНАЛ!!!!!

Recommended Posts

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Створити обліковий запис

Вхід

Зараз на сторінці 0 користувачів

Покупцям

Розробникам

Корисна інформація

Останні розширення

Important Information