Не так давно консультировался на форуме с одним seo-специалистом по поводу robots.txt. Он мне составил на его взгляд правильный robots, я разместил его на сайте и совсем про него забыл. Недавно заметил, что трафика с гугла совсем не стало. Запросил аудит у подрядчиков, которые занимаются ведением нашей рекламной компании на Маркете. Они мне прислали результаты, где очень ругаются на роботс, говорят, что он не дает нормально в гугле продвигаться. Пишут следующее:
1) Сайт доступен для индексации, но некоторые директивы robots.txt прописаны некорректно (директива Host), так же нет отдельной настройки под Google с учетом требований по индексации для этой поисковой системы.
2) Из-за отсутствия отдельной прописи директив под Google, сайт не совсем корректно индексируется, т.к. заблокированы все js скрипты (робот Google интерпретирует скрипты для правильного понимания функционала). Необходимо исправить.
Зашел в Гугл панель, смотрю, а там из 15000 страниц, больше 10000 закрыто роботсом. Но тот, кто мне делал его, говорил, что там все идеально и лучше быть не может. Я в этом ничего не понимаю. Подскажите, что там такое, что так сказывается на гугле? Роботс приложил. Кто-нибудь может помочь исправить эти ошибки?
robots.txt