работы по оптимизации и защиты от DOS атак

[Garik72]

Добрый день.

Ищу специалиста по настройке сервера 1 домена от DOS атак.

Конкретно сейчас это происходит так:

• каждые 2-3 сек запрос на поиск по сайту,
• с 1 IP примерно 5-9 запросов, потом следующий IP,
• в минуту примерно 60 запросов и 3-4 IP,
• страдает нагрузка на MSQL сервера,
• при выключении формы поиска с шапки сайта запросы перестали сыпаться, включил обратно форму поиска, буквально на минуту- получасовая тишина (что дальше будет пока не знаю).

Ищу специалиста с опытом, чтобы объяснил что и для чего будет делать и за какую цену.

Предложения в личку. 

Спасибо.

[Garik72]

При отключении поиска на сайте нагрузка падает (использую модуль "история поиска" поэтому вижу кто/что/как часто вбивает),

при  включении поиска примерно полчаса-час тишина, а потом снова запросы на поиск.

В принципе сайт не падает, лимиты на нагрузку на базу данных могу повысить в несколько раз перейдя на тариф выше.

Вот думаю переждать, повысив тариф, или настроить сервер и быть готовым к более серьезным DDOSам.

[magecode]

Обычно хост провайдеры предоставляют подобную услугу за доп. плату, но не думаю что вам это нужно. Что касается формы здесь стоит поискать разработчика и допилить formkey к поиску.

[chukcha]

А кто ищет? Анализ ip, анализ UA, анализ типа запроса - метка, строка поиска
Время между запросами?
Тип поиска? может какой-нибудь расширенный,

[Garik72]

2 часа назад, magecode сказал:

Обычно хост провайдеры предоставляют подобную услугу за доп. плату, но не думаю что вам это нужно. Что касается формы здесь стоит поискать разработчика и допилить formkey к поиску.

Но только не таймвеб. Они меня послали поискать информацию о специалистах в интернете)

[Garik72]

52 минуты назад, nikifalex сказал:

может стоит поиск починить чтоб не тормозил?

дело не починке поиска.

4 дня назад поисковых запросов было 100 в день, а теперь поисковых запросов в день 6000. Завтра может будет 10000. Откуда они берутся хз.

 

 

Змінено 31 липня 2017 користувачем Garik72

[chukcha]

Но вы же сказли, что установлен история поиска
Анализируйте источник.

[Garik72]

33 минуты назад, chukcha сказал:

А кто ищет? Анализ ip, анализ UA, анализ типа запроса - метка, строка поиска
Время между запросами?
Тип поиска? может какой-нибудь расширенный,

Я ищу. Как раз для анализа что происходит, и что дальше делать, и для исправления ситуации ищу специалиста.

Могу скинуть логи в личку, мой хостер таймвеб может мне помочь только логами, за всем остальным посылает в интернет.

 

[Garik72]

5 минут назад, chukcha сказал:

Но вы же сказли, что установлен история поиска
Анализируйте источник.

я просто не знаю что и для чего анализировать.

Скину для примера (в истории поиска есть ссылки на IP):

https://www.infobyip.com/index.php?ip=37.9.113.57

https://www.infobyip.com/index.php?ip=178.154.171.19

https://www.infobyip.com/index.php?ip=178.154.171.11

https://www.infobyip.com/index.php?ip=213.180.203.2

 

Могу только о них сказать, что браузер у них яндекс, а город Москва. Ну и что.

Змінено 31 липня 2017 користувачем Garik72

[Garik72]

Только что, nikifalex сказал:

написано же spider

это индексатор яндекса жрет результаты поиска.

Запретите ему это делать.

Да, я перед всеми извиняюсь за панику.

Похоже это яндекс бот, и появился он достаточно неожиданно.

Прочитал недавно тут (перепроверил DNS, вроде все же яндекс) : https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.xml 

 

[markimax]

Да закройте поиск в robots.txt и noindex поставьте

[Garik72]

1 час назад, markimax сказал:

Да закройте поиск в robots.txt и noindex поставьте

в robots добавил разнообразные следующие варианты закрытия поиска, но бот яндекса все равно переобходит страницы (но возможно надо выждать день или два после изменений):

User-agent: Yandex

Disallow: /*?search=
Disallow: /search?search=
Disallow: /*route=product/search 

 

а в вебвизоре статус страницы вида https://домен.ru/search?search=массажер "Страница обходится роботом, но отсутствует в поиске"

 

Подскажите пожалуйста, что в Robots не так и почему бот яндекса обходит страницы?

Из работ по сайту недавних: ставили SSL.

 

Змінено 31 липня 2017 користувачем Garik72

[chukcha]

Для того чобы не обходил - бот должен сначала прочитать robots, а делает он это когда захочет.

Закрытие в мета robots то же не даст результата, это просто указание роботу, чтоб не идексировать, и ходит/неходить по ссылкам

 

Самый простой, быстрый и временный вариант - это проверить UA и послать куда подальше

[Garik72]

16 минут назад, chukcha сказал:

Для того чобы не обходил - бот должен сначала прочитать robots, а делает он это когда захочет.

Закрытие в мета robots то же не даст результата, это просто указание роботу, чтоб не идексировать, и ходит/неходить по ссылкам

 

Самый простой, быстрый и временный вариант - это проверить UA и послать куда подальше

никак не пойму что такое UA ? 

[chukcha]

user agent

[sitecreator]

8 часов назад, Garik72 сказал:

страницы вида https://домен.ru/search?search=массажер "

 

а как вы ухитряетесь скармливать ботам такие страницы?

вы специально такие ссылки где-то размещаете?

 

не может же бот от балды сам поисковые запросы генерировать.

 

8 часов назад, chukcha сказал:

Для того чобы не обходил - бот должен сначала прочитать robots, а делает он это когда захочет.

 

Панель управления яндекс-вебмастер.  Заставляем принудительно перечитать robots.

[snastik]

8 минут назад, sitecreator сказал:

 

а как вы ухитряетесь скармливать ботам такие страницы?

вы специально такие ссылки где-то размещаете?

 

не может же бот от балды сам поисковые запросы генерировать.

 

 

Панель управления яндекс-вебмастер.  Заставляем принудительно перечитать robots.

 

Курите матчасть! СпИцИалист по оперкарт.

Тегов нахренячили модулем usergio и привет!

А в роботсе не закрыто!

[sitecreator]

6 минут назад, snastik сказал:

СпИцИалист по оперкарт.

 

Вы еще забыли добавить ваше любимое про мою "непроходимую тупость".

Спасибо вам за ваше внимание к моей скромной персоне, за беспристрастность и объективность.

Вы делаете мир лучше!

Добра вам!