Не знаю столкнётся ли кто-нибудь с похожей проблемой, но на всякий случай опишу свою и как я её решил. Во первых спасибо Dotrox за совет про режим инкогнито, это была моя первая ошибка. А вот над второй я 2 дня голову ломал, пока мне не пришла в голову мысль, что я неправильно написал название файла robots.php, т.е. я допустил, что может использована например русская буква О вместо латинской и оказалось, что проблема почти в этом, почему почти?
Я скопировал название старого robots и вставил в яндекс поиске, это у меня такой экспресс метод на проверку орфографии И яндекс ничего не исправил, т.е. получается, что в названии файла отсутствуют кириллические буквы, но как тогда объяснить, что я создал второй файл с тем же названием на том же рабочем столе и винда даже не ругнулась. Короче залил на сервер новый robots.php и всё заработало. Приложу архив с двумя роботсами, может кто то раскроет тайну, чем они отличаются...
2robots.zip