Откуда Google узнал о моем subdomain?

[shurc1]

Всех приветствую. Возник такой вопрос.

Есть сайт на опенкарте. ну, скажем, www.somesite.com.ua. Он продвигается в Мерчанте, контексте гугла, SEO и т.д. Активно иднескируется поисковыми системами (в основном Гуглом), на нем постоянно есть посетители, идут заказы товаров и т.д. Короче, говоря, сайт рабочий.

 

Но вот я создал поддомен test.somesite.com.ua. Создал его для тестирования движка, отладки разных технических моментов и т.д. Нигде я этот поддомен не рекламировал, нигде не продвигал, нигде не указывал на него никах ссылок из вне, короче говоря, нигде его не "засветил". Никому о нем вообще даже не говорил.

 

И вот, спустя неделю, после создания поддомена, в логах оступа сервера наблюдаю трафик от поисковых систем - в основном от Гугла, но есть и другие роботы.

 

ВОПРОС №1: 

Как эти поисковые системы узнали о существовании этого поддомена??? Откуда у них эта информация?

ВОПРОС №2: 

Как при создании поддоменов не "засветить" их? Как можно создать 20-30 поддоменов таким образом, чтобы о них не узнал ни один из поисковых роботов? И вообще, чтобы никто в интернете о них не знал?

[radaevich]

Добрый день
в robots добавляли?

User-agent: *
Disallow: /

[Eldaeron]

Якщо це тестове середовище сміло в корні сайту ще створіть .htpasswd

Деякі роботи можуть robots.txt ігнорувати, але те що вище написали вам теж додайте.

[NotSlow]

1) Удивляетесь, что за вами следят?

Как варианты: браузер chrome (если им пользуетесь) "слил" ваш поддомен.

DNS гугла (8.8.8.8) - даже если не пользуетесь вы, то может ваш провайдер или хостинг. 1 запрос этого поддомена туда и все, гугл про него в курсе.

 

2) Либо блокировать всех, кроме себя (по ip или паролю), либо не создавать поддомены вообще.

Можно же в hosts себе прописать и пользоваться единолично. И ни один бот туда не попадет, даже если будет знать про их существование.

[Yoda]

Хром стучит 100% + гугл днс сканирует все что видит

[kulinenko]

26.02.2024 в 12:41, shurc1 сказал:

Как эти поисковые системы узнали о существовании этого поддомена??? Откуда у них эта информация?

 

ос на мобилах, браузеры ( как уже выше сказали хром), так же могли случайно счетчики поставить или файл вебмастера.

грубо говоря сейчас сайт с активностью быстро сам залетает в индекс БЕЗ ДОБАВЛЕНИЯ В КОНСОЛЬ.

 

26.02.2024 в 12:41, shurc1 сказал:

Как при создании поддоменов не "засветить" их? Как можно создать 20-30 поддоменов таким образом, чтобы о них не узнал ни один из поисковых роботов? И вообще, чтобы никто в интернете о них не знал?

лучший способ - полностью закрыть от гуглбота наглухо на сервере. Так же Сделать вход по паролю .

[shurc1]

26.02.2024 в 17:42, Yoda сказал:

Хром стучит 100% + гугл днс сканирует все что видит

 

Давно уже собирался перейти на Centbrowser, как раз самое время ...

[shurc1]

26.02.2024 в 16:09, NotSlow сказал:

1) Удивляетесь, что за вами следят?

Как варианты: браузер chrome (если им пользуетесь) "слил" ваш поддомен.

DNS гугла (8.8.8.8) - даже если не пользуетесь вы, то может ваш провайдер или хостинг. 1 запрос этого поддомена туда и все, гугл про него в курсе.

 

2) Либо блокировать всех, кроме себя (по ip или паролю), либо не создавать поддомены вообще.

Можно же в hosts себе прописать и пользоваться единолично. И ни один бот туда не попадет, даже если будет знать про их существование.

 

1) спасибо за наводку, буду иметь ввиду

 

2) понятное дело, что я все сразу же прикрыл через .htaccess <Limit GET POST HEAD>. Оставил только доступ для своего IP. Но поскольку IP у меня динамичесий и часто я всякое разное тестирую через VPN, то поставил еще доступ и по кукам... SetEnvIf Cookie....

 

[shurc1]

26.02.2024 в 15:19, Eldaeron сказал:

Якщо це тестове середовище сміло в корні сайту ще створіть .htpasswd

Деякі роботи можуть robots.txt ігнорувати, але те що вище написали вам теж додайте.

 

не то, что могут, а прямо таки игнорируют!

поэтому никакой надежды на эти robots.txt у меня давно уже нет, все наглухо закрываю через .htaccess 

[shurc1]

26.02.2024 в 18:14, kulinenko сказал:

лучший способ - полностью закрыть от гуглбота наглухо на сервере. Так же Сделать вход по паролю .

 

спасибо за совет. я так обычно и делаю.

ну пароль каждый раз вводить как-то не очень удобно (даже если он в браузере запоминается), проще закрыть доступ из вне по какому-нибудь куки через .htaccess 

Я сайты тестирую с разных браузеров/устройств/IP поэтому куку один раз поставил и все...

 

[kulinenko]

26.02.2024 в 18:10, shurc1 сказал:

 

спасибо за совет. я так обычно и делаю.

ну пароль каждый раз вводить как-то не очень удобно (даже если он в браузере запоминается), проще закрыть доступ из вне по какому-нибудь куки через .htaccess 

Я сайты тестирую с разных браузеров/устройств/IP поэтому куку один раз поставил и все...

 

ну так раз залогинился и все . Ну а. вообще если гугл бот заблочен на серваке тогда можно спать спокойно.

[Yoda]

26.02.2024 в 18:55, shurc1 сказал:

 

Давно уже собирался перейти на Centbrowser, как раз самое время ...

allow по ip

И до свиданья звери!