Пошук по сайту

Как всегда начну издалека. Откуда то у людей взялся миф, что если вот вдруг, вам настроят сервер у вас будет быстрый магазин, или вот возьмите арендуйте dedicated, и тоже будет быстрый магазин. Я не знаю кто первый это придумал, но сталкиваюсь я с подобным тезисом, на каждом шагу. И очень часто я вижу купленные ненужные дорогие ресурсы, которые просто стоят мертвым грузом Да да, не надо кидать в меня тапками, без хорошего сервера не будет быстрого магазина, но только одним сервером проблемы не решить. Второй миф. Когда на магазин приходит нагрузка от ботов, или парсинг, или школьный ддос, да просто предновогодний трафик в конце концов, часто густо сервера начинают падать, глючить, приходит какой-то мего спец с умным видом говорит - "у вас ДДОС", срочно срочно надо уходить под cloudflare, ddosguard или stormwall. Перед новым годом, ничего не предвещало неожиданностей. Меня попросили посмотреть один проект, и через 10 минут после вникания в ситуацию, у меня начал судорожно дергаться глазик. Вводные данные: 10к товаров, 3к трафика в день, выделенный сервер на бегет. не VPS а именно дедик за 10 000 рублей в месяц, а также платный пакет stormall за 15000. При этом занято на диске 400 из 500 гигабайт, и магазин работает несколько нестабильно. А теперь небольшая калькуляция (10000 + 15000) * 12 = 300 000 рублей в год за инфраструктуру. По итогу после приведения в порядок магазина, отказа от бесполезного stormwall (если надо будет - есть CloudFlare за $20 в месяц), переезда на нормальный VPS за 2000 рублей в месяц и аренды еще пары сервисов по мелочи, мы в 2022 году сэкономим порядка 250 000 рублей чистыми. Вы опять же спросите - как так? Почему мелкий VPS оказался производительнее чем выделенный сервер? Да потому что за 10 000рэ на бегете был какой то xeon лохматого 15-го года выпуска, древний измученный ssd, и DDR3, а взамен мы арендовали 3 четырехгиговых ядра, nvme диск, и DDR4, что позволило почти на порядок увеличить моментальную скорость генерации страниц. Также у вас может быть хоть 150 ядер и 100гб памяти, но если у вас в настройках базы данных к примеру стоит 100 max_connection, то все ваши ресурсы просто будут греть воздух, ну или как сервиз для красоты в серванте стоять. Ну кроме настроек базы - есть еще несколько затычек в дефолтных настройках стека LAMP, но если их все перечислять - это на пару десятков постов потянет. Так что просто поднастроили все как надо. Вы спросите, а куда же ты Йода дел 400 гигабайт, ведь не может стоить 2000 рублей с таким количеством места VPS? Конечно же дел, вынес бекапы на внешнее удаленное хранилище, почистил логи (200 гиг было), добавил архивацию свежих логов, удалил старые базы, хламушник от обмена с 1с, и 400 гб отлично превратились в 37гб. Также, напрашивается вопрос. А что же с трафиком, как может мелкий VPS в 3 ядра работать успешней чем многоядерный собственный процессор? И здесь все тоже очень просто. Во первых магазин как и автомобиль, требует профилактики и тюнинга, очень часто бывает удается сделать из 2-3 секунд 200-300 мс. Но в целом даже пятикратный прирост скорости генерации страниц, который мы получили на этом проекте, за счет настройки магазина, более чем достаточен, чтобы мы вписывались в 30-40% от пиковой нагрузки сервера. Во вторых: боты боты боты боты! Смотрите в логи друзья, там часто ходит такой зоопарк, что вы даже себе представить не можете, мало того этот зоопарк может ходить туда куда ему не надо, равно как и гугл и яндекс боты. Если ограничить доступ к магазину для всяких MJ12, Petal ботов и т.д. И закрыть в роботс корректно ненужные страницы для легитимных ботов, то и еще нагрузку на систему можно снизить на 40-50-70%. Ну а 3-4 к трафика в день с глубиной 5-6 страниц человека, для нормального VPS - это детский лепет. Пошло как дети в школу. И еще логичный вопрос от обывателей: а почему бы не поставить джет кеш или лайтнинг, ведь они ускоряют ? Очень хочется увидеть как они ускоряют агрегатный запросы в админке при обработке 4-5 сотен заказов в день. Ну или как они ускоряют внутренний поиск на сайте. В данном случае пришлось потратить пару дней для скурпулезной простановки составных индексов, под запросы моделей, которые в админке обрабатывают данные о продажах. Так как в сложных JOINах с таблицами по 300-800к строк, просто так нельзя взять и взять проставить индексы на id, и думать что поможет! Ну и поиск sphinx быстрее любых потенциальных аналогов. Так что, желаю вам друзья с необходимой долей критики подходить к тратам на ресурсы, и не переплачивать за воздух.

Пожалуй рискну рассказать вам не очень приятную историю, которая приключилась со мной и мои товарищем неделю назад. Воскресенье вечер, в отличной компании сижу, пью пиво, ем мясо, и у меня начинает разрываться телефон. У одного моего друга лежит сайт. Бросаю все, захожу на сервер, включаем mytop htop и видим огромное количество висячих запросов. Ну подумаешь бывает, школьники балуются. Добавляем ресурсы php-fpm для этого товарища, включаем кеш html страниц магазина (модуль турбо), включаем nginx базовую защиту от атак https://www.nginx.com/blog/mitigating-ddos-attacks-with-nginx-and-nginx-plus/, и спокойно возвращаюсь к мясу и пиву с чувством выполненного долга и ощущением, что этот тупой малолетка, может дальше ддосить сколько угодно. И вроде бы было все ок, если бы в понедельник, опять я не получил оборванный телефон и скрины в телеграм такого толка: Кароче привет 90ые, нас поставили типа на счетчик. Ну и да реально выделенный сервер, не ВПС на 8 ядер и 64гб памяти лежит и валяется. При попытке перезагрузить сервисы, они зависали тут же. Тут мне стало очень интересно. У меня достаточно большой опыт борьбы с подобными товарищами, но вот этот оказался очень активный и агрессивный. Нашел магазин, у которого специфика ассортимента, когда декабрь перед новым годом, за месяц год кормит, купил ботнет и решил заработать деньжат. 200 + 30 в час - это за сутки 200 + 720 - фактически 1000 долларов, и не будь меня за спиной у нашего потерпевшего магазина, он бы их и заплатил, так как потери несопоставимы, и ведь неизвестно сколько это может длиться. Вот вам небольшая статистика за сутки про мощность атаки: Всего-навсего полмиллиарда запросов на веб сервер за сутки! В пик у нас было: 28м запросов на сервер в 15 минут, у есть подозрение, что в гугл столько запросов со всей Украины не приходит за 15 минут. Но мы чудесным образом и отбились, и еще отбили интерес у нашего школьника решившего подзаработать лезть к магазину моего товарища. А теперь пошаговый алгоритм что было сделано. 1 - у меня есть свой скрипт антиддоса, аналогов на гитхабе миллион, ловим всплески за разные периоды времени и блочим айпи. На какой-то период этого хватает, чтобы магазин работал хоть как-то. 2 - Добавляем для вируталхоста новый не засвеченный в мир айпи. Это важно, так как атакующая сторона может работать в обход днс и слать запросы прямо на сервер с нужными заголовками. 3 - Уходим сразу очень быстро под CloudFlare, прячем новый айпи за прокси CF, и проксируем реальные айпи в php магазина и по прежнем продолжаем блочить входящие запросы. 4 - Пока меняются DNS мы не можем закрыть старый айпи, поэтому терпим, но CF направляем на новый и блочим на новом на уровне сервера любые прямые запросы кроме подсетей CloudFlare ну и там всяких офисных, сервисных и домашних айпишников. 5 - Как только http://host-tracker.ru/ показал, что процентов 90 ресурсов из мира видят сайт на ресурсах CLoudFlare блочим старый айпи, при чем желательно на уровне firewall провайдера хостинга, в нашем случае это Hetzner - там есть какой никакой файрвол работающий на уровне их сети и это просто. 6 - Пока идет вся эта котовасия у нас уже куплен платный аккаунт CloudFlare, который позволяет создавать правила для внутреннего файрвола. Первое созданное правило - заблокировать все страны кроме Украины и известных ботов. Еще было штук 10 правил - но они вторичны. 7 - Включаем в CloudFlare максимальный уровень реакции на DDOS, никаких капч никакой фигни. Только блок и все. 8 - Запасаемся попкорном и ждем пока наш упырь-мамкин-ддосер докупает и докупает еще и еще мощностей ботнета, и нифига не получается. В конечном итоге я еще внимательней посмотрел в логи, нашел в них ошибки в серверных заголовках и с вероятностью 99.9% закрыл все обращения нашего парня. Он мог бы купить в 10 раз больше ресурсов, но с таким уровнем подготовки, все равно ничего бы не добился. К чему эта вся статья. Ну во первых я хвастаюсь, с момента возникновения критичных проблем с этим инцидентом, до момента решения, прошло всего порядка полутора часов (правда мониторил я его без сна потом почти сутки). Во вторых. И это пожалуй самое важное. НИКОГДА НЕ ТОРГУЙТЕСЬ С ТЕРРОРИСТАМИ. Даже если вам выставляют подобные угрозы, вы должны понимать, что человек, который пытается подобным образом вымогать деньги, он сам в этот момент попадает на аренду мощностей ботнетов и прокси. Также вы должны знать, что смоделировать идеальный ддос и естественный нативный трафик очень и очень и очень сложно, практически всегда специалист найдет какой-то признак, по которому можно душить паразитные запросы. И еще эти ддосники малолетние - они как гаишники, их цель не задушить ваш магазин, а содрать побыстрому бабла, если вы не идете на контакт и не проявляете никакой реакции - им становится неинтересно, так как мимо проезжает еще много машин, с которых можно состричь и есть еще много сайтов, на которых можно заработать. Любое потраченное время на холостой проект - это минус деньги. Если любому гаишнику обьяснить, что протокол он будет составлять два часа, потому что вы будете думать над каждой буквой объяснения - по закону имеете право, скорее всего он вас отпустит. Если мамкин ддосер будет сразу понимать что он нифига не получит - он пойдет дальше. Даже если ваш магазин заказали конкуренты, это все будет происходить ровно до истечения абонплаты. А если еще вы вовремя среагировали и отбились - то мамкин ддосер со своих вернет деньги за заказ, потратившись за аренду ботнета и прокси серверов. Вот такая вам новогодняя сказочка. Дальше больше! UPD1: Запомните, сравнивать бесплатный Cloudflare, который просто может проксировать ваш трафик и спрятать айпи и платные пакеты - это как сравнивать одноногую косоглазую Бритни Спирс с молодой Памелой Андерсон. Вобщем бесплатный сервис CloudFlare - это просто ничего, и как бы вам не рассказывали тупые саппорты хостеров и специалисты начального уровня с форума и фриланса, он вам НИЧЕМ НЕ ПОМОЖЕТ в случае ддоса! UPD2: Пишу я этот текст не для того, чтобы при любой проблеме вы бежали ко мне, скорее всего если вы придете с улицы с просьбой помочь вы получите отказ. В последнее время очень сильно активизировались различные менеджеры среднего звена и любите поклевать мозг холостыми разговорами. В связи с этим, без рекомендаций от моих друзей или уважаемых участников сообщества, я практически не иду на контакт по каким-либо реализациям. Да я опух, потерял берега, цены себе не могу сложить и так далее, вобщем, называйте как хотите, мне все равно. Данный пост имеет исключительно общеобразовательную миссию, и не является коммерческим предложением или иной рекламой тех или иных моих реализаций! UPD3: Вы спросите - а что нам делать - у нас шаред хостинг за три копейки? Ну тут друзья - я вам не виноват что у вас в 2021 году шаред хостинг, во вторых, очень быстро можно купить какой-нибудь cloud сервер или на хетцнере или на digital ocean, сделать его публичным прокси вашего магазина, скрыть его за CloudFlare и с точно таким же цинизмом, как имея выделенный наблюдать, как корчатся в конвульсиях мамкины ддосеры. Чуть дольше на час-два, но никааааааааких проблем!

Не подключал ни каких защит, хостер тоже не чего не делал но в админке в модулях появилось следующее Не могу понять что это и откудого. При этом через 5 сек перезагружается страница.