Индексация в роботс

[laskavchik]

Добрый день. такой вопрос: Если у сайта есть куча региональных поддоменов типа moskva.site.ru, kiev.site.ru, odessa.site.ru.
Как прописать в robots.txt что бы скрыть от индексации эти рериональные поддомены?. Но что бы главный site.ru индексировался?

[LTRay]

Зависит от того как субдомены настроены

Но в общем случае примерно так

RewriteCond %{HTTP_HOST} ^moskva.site.ru$
RewriteRule ^robots\.txt$ robots-moskva.txt

User-agent: *
Disallow: /

 

Змінено 4 лютого 2020 користувачем LTRay

[laskavchik]

14 хвилини назад, LTRay сказав:

Зависит от того как субдомены настроены

Но в общем случае примерно так

RewriteCond %{HTTP_HOST} ^moskva.site.ru$
RewriteRule ^robots\.txt$ robots-moskva.txt

User-agent: *
Disallow: /

 

И так для каждого прописывать? Или есть какое-то правило, сразу для всех? 

[chukcha]

RewriteRule ^robots\.txt /robots.%{HTTP_HOST}.txt [NC,L]

 

[LTRay]

Первые 2 строчки это для htaccess, там можно объединять. Вторые 2 для robots_dissallow.txt. Он нужен один. Но нужно как и сказал смотреть, может не сработать

Змінено 4 лютого 2020 користувачем LTRay

[chukcha]

Но можно использовать модуль, и чтоб не лазить каждый раз на фтп, все править админке

[LTRay]

Да тут по сути вот это правило поправить
RewriteCond %{HTTP_HOST} ^moskva.site.ru$
И будет для всех субдоменов

Этож регулярка