Jump to content
Search In
  • More options...
Find results that contain...
Find results in...

Как не попадать на 250 000 рублей в год, если не слушаться "специалистов" по настройке серверов


Yoda

2,998 views

 Share

Как всегда начну издалека.


Откуда то у людей взялся миф, что если вот вдруг, вам настроят сервер у вас будет быстрый магазин, или вот возьмите арендуйте dedicated, и тоже будет быстрый магазин.

Я не знаю кто первый это придумал, но сталкиваюсь я с подобным тезисом, на каждом шагу. И очень часто я вижу купленные ненужные дорогие ресурсы, которые просто стоят мертвым грузом

 

Да да, не надо кидать в меня  тапками, без хорошего сервера не будет быстрого магазина, но только одним сервером проблемы не решить.

 

Второй миф. Когда на магазин приходит нагрузка от ботов, или парсинг, или школьный ддос, да просто предновогодний трафик в конце концов, часто густо сервера начинают падать, глючить, приходит какой-то мего спец с умным видом говорит - "у вас ДДОС", срочно срочно надо уходить под cloudflare, ddosguard или stormwall.

 

Перед новым годом, ничего не предвещало неожиданностей. Меня попросили посмотреть один проект, и через 10 минут после вникания в ситуацию, у меня начал судорожно дергаться глазик.

 

Вводные данные: 10к товаров, 3к трафика в день, выделенный сервер на бегет. не VPS а именно дедик за 10 000 рублей в месяц, а также платный пакет stormall за 15000. При этом занято на диске 400 из 500 гигабайт, и магазин работает несколько нестабильно. 

 

А теперь небольшая калькуляция (10000 + 15000)  * 12 = 300 000 рублей в год за инфраструктуру.

По итогу после приведения в порядок магазина, отказа от бесполезного stormwall (если надо будет - есть CloudFlare за $20 в месяц), переезда на нормальный VPS за 2000 рублей в месяц и аренды еще пары сервисов по мелочи, мы в 2022 году сэкономим порядка 250 000 рублей чистыми. 

 

Вы опять же спросите - как так? Почему мелкий VPS оказался производительнее чем выделенный сервер?

 

Да потому что за 10 000рэ на бегете был какой то xeon лохматого 15-го года выпуска, древний измученный ssd, и DDR3, а взамен мы арендовали 3 четырехгиговых ядра, nvme диск, и DDR4, что позволило почти на порядок увеличить моментальную скорость генерации страниц.
Также у вас может быть хоть  150 ядер и 100гб памяти, но если у вас в настройках базы данных к примеру стоит 100 max_connection, то все ваши ресурсы просто будут греть воздух, ну или как сервиз для красоты в серванте стоять. Ну кроме настроек базы - есть еще несколько затычек в дефолтных настройках стека LAMP, но если их все перечислять - это на пару десятков постов потянет. Так что просто поднастроили все как надо.

 

Вы спросите, а куда же ты Йода дел 400 гигабайт, ведь не может стоить 2000 рублей с таким количеством места VPS?

 

Конечно же дел, вынес бекапы на внешнее удаленное хранилище, почистил логи (200 гиг было), добавил архивацию свежих логов, удалил старые базы, хламушник от обмена с 1с, и 400 гб отлично превратились в 37гб.  

 

Также, напрашивается вопрос. А что же с трафиком, как может мелкий VPS в 3 ядра работать успешней чем многоядерный собственный процессор?

 

И здесь все тоже очень просто. Во первых магазин как и автомобиль, требует профилактики и тюнинга, очень часто бывает удается сделать из 2-3 секунд 200-300 мс. Но в целом даже пятикратный прирост скорости генерации страниц, который мы получили на этом проекте, за счет настройки магазина, более чем достаточен, чтобы мы вписывались в 30-40% от пиковой нагрузки сервера. Во вторых: боты боты боты боты! Смотрите в логи друзья, там часто ходит такой зоопарк, что вы даже себе представить не можете, мало того этот зоопарк может ходить туда куда ему не надо, равно как и гугл и яндекс боты. Если ограничить доступ к магазину для всяких MJ12, Petal ботов и т.д. И закрыть в роботс корректно ненужные страницы для легитимных ботов, то и еще нагрузку на систему можно снизить на 40-50-70%. Ну а 3-4 к трафика в день с глубиной 5-6 страниц человека, для нормального VPS - это детский лепет. Пошло как дети в школу.

 

И еще логичный вопрос от обывателей: а почему бы не поставить джет кеш или лайтнинг, ведь они ускоряют ?

 

Очень хочется увидеть как они ускоряют агрегатный запросы в админке при обработке 4-5 сотен заказов в день. Ну или как они ускоряют внутренний поиск на сайте.
В данном случае пришлось потратить пару дней для скурпулезной простановки составных индексов, под запросы моделей, которые в админке обрабатывают данные о продажах.
Так как в сложных JOINах с таблицами по 300-800к строк, просто так нельзя взять и взять проставить индексы на id, и думать что поможет!

Ну и поиск sphinx быстрее любых потенциальных аналогов.

 

Так что, желаю вам друзья с необходимой долей критики подходить к тратам на ресурсы, и не переплачивать за воздух.

 

 

 

  • +1 20
 Share

27 Comments


Recommended Comments



Можешь, если захочешь конечно, годный контент публиковать. 

Edited by madehtml5
Link to comment
15 хвилин назад, Shureg сказав:

Ни о чём контент, вода. 

Даже такой "воды" многие не знают и зря тратят. Да нет конкретики, да реклама себя любимого, но и это заслуживает внимания.

Edited by madehtml5
  • +1 1
Link to comment
4 минуты назад, nikifalex сказал:

кто умеет, читают между строк, остальным не дано. смиритесь.

 

А что там между строк? Он там молоком, как Ленин написал? Утюг включать?

Мне, конечно, не дано, но в чём же суть простыни?

  • +1 3
Link to comment
12 часов назад, mazein сказал:

 

А что там между строк? Он там молоком, как Ленин написал? Утюг включать?

Мне, конечно, не дано, но в чём же суть простыни?

 Разъясняю 
В 90% случаев если какой-то персонаж "разбирающийся" в нагруженных системах рассказывает про необходимость дедика, и дополнительных антиддос защит - это бред сивой кобылы.

 

Прежде чем предпринимать шаги по увеличению вычислительных ресурсов,  намного эффективнее изначально провести анализ существующей ситуации.


А если слепо верить  персонажам, "которые не понимают суть простыни", то можно залететь трижды на 250 косарей в год.

 

Еще раз повторяю, для  непонимающих: НАДО ЭКОНОМИТЬ ДЕНЬГИ и не оплачивать с бухты-барахты избыточные мощности и сервисы.

 

Кроме этого, если разуть глаза, и еще раз перечитать внимательно, то можно увидеть общий список методов, которые позволили сократить время генерации страниц, уменьшить количество запросов к серверу и комплексно реализовать нормальную работоспособность системы.
А если вы друзья ждете, что вас кто-то начнет просто так посвящать в тонкости джедайского мастерства, то вам на вокзал - там по слухам, существуют феи, которые реализуют некоторые ваши иные фантазии за пирожок!

  • +1 4
Link to comment
14 часов назад, Shureg сказал:

Ни о чём контент, вода. 

Вы по моему не тем занимаетесь.....
Главное, что у вас везде отличный контент! Читаю ваши блоги и комментарии, просто кладезь мудрости и знаний, продолжайте в том же духе!

  • +1 4
Link to comment
2 часа назад, Yoda сказал:

Главное, что у вас везде отличный контент! Читаю ваши блоги и комментарии, просто кладезь мудрости и знаний, продолжайте в том же духе!

Лучше хорошо молчать, чем плохо говорить

Link to comment
2 часа назад, Yoda сказал:

Кроме этого, если разуть глаза, и еще раз перечитать внимательно, то можно увидеть общий список методов, которые позволили сократить время генерации страниц, уменьшить количество запросов к серверу и комплексно реализовать нормальную работоспособность системы.

Я облегчу задачу читателям вашей статьи.
Вот конкретный список открытий, о которых вы поведали миру в данном блоге:

1. Сервер надо настроить.
2. Логи надо чистить.
3. Хлам с сервера надо удалять
4. В robots стоит совсем запретить доступ ненужным ботам, и закрыть бесполезные страницы от нужных
5. Если настроенный сервер за 2к работает нормально, то ненастроенный сервер за 10к покупать не надо.

Список полный, дополнительных подробностей в статье нет.

  • +1 4
Link to comment

Чувствую себя обманутым.

Статья не оправдала надежд - где интриги, расследования, обвинения?

Даже на комментарии отвечает сравнительно сдержано.

А следующая статья о чём будет?

 

Спойлер

2020-10-17_00-11-45.png.a72e6d37a3fbbdf90e192d9f284a3ce0.png

 

  • +1 1
Link to comment

как по мне то главная задача статьи это объяснить людям что не всегда нужно покупать самый дорогой сервер потому что у того кто советует там рефералочка, а нанять специалиста который сможет сказать что именно нужно сделать чтобы было сухо и комфортно, необязательно автора статьи 

  • +1 5
Link to comment
13 часов назад, Shureg сказал:

Лучше хорошо молчать, чем плохо говорить

 

 Ждем с нетерпением от вас такого поведения

  • +1 1
Link to comment
19 часов назад, Shureg сказал:

Ни о чём контент, вода. 

сто плюсов. контент - вода. к сожалению как обычно ноль импакта :((

 

  • +1 3
Link to comment
В 11.01.2022 в 22:48, Shureg сказал:

Я облегчу задачу читателям вашей статьи.
Вот конкретный список открытий, о которых вы поведали миру в данном блоге:

1. Сервер надо настроить.
2. Логи надо чистить.
3. Хлам с сервера надо удалять
4. В robots стоит совсем запретить доступ ненужным ботам, и закрыть бесполезные страницы от нужных
5. Если настроенный сервер за 2к работает нормально, то ненастроенный сервер за 10к покупать не надо.

Список полный, дополнительных подробностей в статье нет.

Ну как видите, даже магазины с трафиком этого не знали и главное помогло сохранить бюджет в будущем. Может еще один увидит и подумает зачем тратить лишних 250 к в год? Когда можно сделать простые вещи.

Link to comment
13 години назад, serg34 сказав:

Ну как видите, даже магазины с трафиком этого не знали и главное помогло сохранить бюджет в будущем. Может еще один увидит и подумает зачем тратить лишних 250 к в год? Когда можно сделать простые вещи.

Данная ситуация,  описанная в блоге, вряд-ли является правдой.  Большие ИМ давно имеют в штате своих программистов + за большими ИМ стоят "дядьки", которые умеют считать деньги.  Потому такая ситуация более характерна для ИМ малых и средних размеров.  Где на условных 10 товаров мощности как для 1000 условных встречаются почти всегда. 

  • +1 1
Link to comment
51 минуту назад, madehtml5 сказал:

+ за большими ИМ стоят "дядьки", которые умеют считать деньги.

Ну так речь не идет от таких магазинах как мвидео, озон или розетка, речь о магазине с посещаемостью 3к - это раз. И понимаю, что речь не о бухгалтерии, а том, что хостинг предлагает разные услуги, без которых можно обойтись, сэкономив деньги.

 

54 минуты назад, madehtml5 сказал:

Данная ситуация,  описанная в блоге, вряд-ли является правдой.

С таким подходом, можно открыть на этом форуме описание любого модуля или шаблолна и заявить, что это все ложь.

Link to comment

а я регулярно сталкиваюсь когда большие им "доят" дорогие веб студии, сео компании и прочие разводилы, которые берут бабки а потом варез ставят чтоб лишнюю тысчонку в карман положить

 

больших по настоящему им у которых есть штат нормальных своих итшников - единицы 

  • +1 1
Link to comment
11 часов назад, serg34 сказал:

Ну так речь не идет от таких магазинах как мвидео, озон или розетка, речь о магазине с посещаемостью 3к - это раз. И понимаю, что речь не о бухгалтерии, а том, что хостинг предлагает разные услуги, без которых можно обойтись, сэкономив деньги.

 

С таким подходом, можно открыть на этом форуме описание любого модуля или шаблолна и заявить, что это все ложь.

1 и я о том же

2 вывод сделан из утверждения про "3к трафика" такие ИМ как минимум давно должны иметь с 95% вероятностью постоянного человека который его обслуживает. А если это автор статьи то вопрос к нему мол "чеж он такой редиска", если же нет то это подразумевает, что собственник ИМ жадный, а потому человек три раза переспросит как снизить цену за сервер. А потому основываясь на как минимум 10-м опыте работы ИМ и зная как западный рынок так и СНГ, так и азию - могу утверждать (с очень большой вероятностью), что история в статье выдумана ради примера.

Link to comment
В 15.01.2022 в 15:50, madehtml5 сказал:

1 и я о том же

2 вывод сделан из утверждения про "3к трафика" такие ИМ как минимум давно должны иметь с 95% вероятностью постоянного человека который его обслуживает. А если это автор статьи то вопрос к нему мол "чеж он такой редиска", если же нет то это подразумевает, что собственник ИМ жадный, а потому человек три раза переспросит как снизить цену за сервер. А потому основываясь на как минимум 10-м опыте работы ИМ и зная как западный рынок так и СНГ, так и азию - могу утверждать (с очень большой вероятностью), что история в статье выдумана ради примера.

Вот кстати пример успешного "специалиста" с опытом.

Для которого 3000 трафика - это большой проект, который почему-то должен иметь постоянного человека.


При этом такие специалисты даже не задумываются, что постоянный человек может быть, но он может быть неграмотным в построении нагруженной системы.
А также 10 летний опыт по работе с киосками, не дает понимания, что собственник магазина может быть наоборот не жадный и цена вопроса в лишние 20 000 рублей в месяц - не цена.

 

Ну а так да я все выдумал. Как обычно.

 

А если серьезно, то среди моих друзей товарищей есть несколько больших проектов 10-25к+ трафика в день, и ничего как то живут без постоянного человека. Успешно продают. 

  • +1 1
Link to comment

Замечательная история, приятно почитать.

Для полноты картины не хватает главной цифры - сколько стоила вся описанная работа. 

Link to comment
26 минут назад, MaxD сказал:

Замечательная история, приятно почитать.

Для полноты картины не хватает главной цифры - сколько стоила вся описанная работа. 

 

Вся описанная работа практически, была проведена специалистами хостинга.

 

Link to comment

А вот эта работа?

 

16 минут назад, Yoda сказал:

Вынес бекапы на внешнее удаленное хранилище, почистил логи (200 гиг было), добавил архивацию свежих логов, удалил старые базы, хламушник от обмена с 1с

Пришлось потратить пару дней для скурпулезной простановки составных индексов, под запросы моделей, которые в админке обрабатывают данные о продажах.

Ну и поиск sphinx

 

Link to comment

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.