Проиндексировался файл robots.txt

[ferowi]

Подскажите в чем может быть причина.

Может был выбран плохой robots.txt для сайта?

[S1mple]

1 час назад, ferowi сказал:

Подскажите в чем может быть причина.

Может был выбран плохой robots.txt для сайта?

 

В robots нельзя на 100% закрыть сайт от индекса, есть всегда риск что бот заскочит.

[maksimist]

На modx такое возможно, когда создаешь robots.txt не как файл в корне сайта, а как ресурс txt и не закрываешь его от индекса. 

Змінено 4 травня 2020 користувачем maksimist

[chukcha]

site:google.com/robots.txt

 

[ferowi]

Типа это нормально?