robots.txt не задана директива

[Lifeamove]

webmaster.yandex.ru выдает ошибку

Возможные проблемы

В файле robots.txt не задана директива Host

Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически. Добавьте директиву Host в файл robots.txt.

 

 

Ответов на форуме не нашёл...

[Strelez]

Добавьте в файл robots.txt в секции User-agent: Yandex строку (в самый низ)

Host: адрес_основного_сайта.ru 

 

[alexstorm]

25 minutes ago, Strelez said:

Добавьте в файл robots.txt в секции User-agent: Yandex строку (в самый низ)

Обязательно учтите протокол http:// или https://

 

[Lifeamove]

@Strelez @alexstorm  Спасибо большое!

 

Без всяких "Disallow: /*" да?

Просто Host:пробел https://site.ru в конце без "/"?

В самом конце раздела user-agent: Yandex

Clean-param: tracking

после него

Host: https://site.ru

Змінено 13 квітня 2017 користувачем Lifeamove

[Strelez]

Lifeamove,

У вас в первом посту (первая ссылка)

Цитата

#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается

User-Agent: *
Disallow:
Host: myhost.ru

И там же чуть ниже

Цитата

Директива Host должна содержать:

• Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru).

Поэтому безо всяких слэшей

1 час назад, Lifeamove сказал:

Host: https://site.ru

 

[Lifeamove]

@Strelez  спасибо за помощь !

 

У меня в конце раздела Use-agent: Yandex после Dissalow есть Clean-param: tracking - это адрес страницы сайта который содержит динамический параметр, не могу понять что такое tracking ? 

 

а Dissalow: / это указание раздела который запрещён для робота - то есть он не будет индексироваться правильно?

а почему у меня указано:

Disallow: /catalog    это что значит весь мой каталог для робота запрещён, правильно я понимаю?

 

Ещё такой вопрос там у меня в robots.txt есть 2 раздела... 1ый: User-agent: *       2ой: User-agent: Yandex

Второй я понимаю для яндекса, а первый для кого? (нужно ли в первом в конце дописывать Host: https://site.ru ?)

Змінено 13 квітня 2017 користувачем Lifeamove

[Dotrox]

30 минут назад, Lifeamove сказал:

Disallow: /catalog    это что значит весь мой каталог для робота запрещён, правильно я понимаю?

Да. А если точнее, то содержимое директории catalog, как и директории admin и всех остальных директорий, содержимое которых поисковики не должны видеть (не именно через эту директиву, а через подобные, которые в роботсе ОК по дефолту).

Но надо ещё добавить:

Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Чтоб Гугл мог индексировать стили, скрипты и изображения из вёрстки (ему это необходимо, чтоб видеть сайт глазами браузера).

 

 

30 минут назад, Lifeamove сказал:

Второй я понимаю для яндекса, а первый для кого?

Для всех остальных. Он и для Яндекса был бы, если б для Яндекса не было отдельного.

 

 

30 минут назад, Lifeamove сказал:

нужно ли в первом в конце дописывать Host: https://site.ru ?

Кроме Яндекса, вроде, никто больше эту директиву не понимает.

Змінено 13 квітня 2017 користувачем Dotrox

[Strelez]

@Lifeamove

Чтобы мне много букв не дублировать почитайте вот эту тему (можете еще что-либо подобное поискать)

Цитата

Примечание. Для каждого файла robots.txt обрабатывается только одна директива Host. Если в файле указано несколько директив, робот использует первую.

 

Змінено 13 квітня 2017 користувачем Strelez
цитата

[Lifeamove]

@Dotrox    Это добавлять под User-agent: *   - то есть для всех для гугла... да?

Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

 

 

Скрытый текст

29 минут назад, Dotrox сказал:

59 минут назад, Lifeamove сказал:

Disallow: /catalog    это что значит весь мой каталог для робота запрещён, правильно я понимаю?

Да. А если точнее, то содержимое директории catalog, как и директории admin и всех остальных директорий, содержимое которых поисковики не должны видеть (не именно через эту директиву, а через подобные, которые в роботсе ОК по дефолту).

Но надо ещё добавить:

Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Чтоб Гугл мог индексировать стили, скрипты и изображения из вёрстки (ему это необходимо, чтоб видеть сайт глазами браузера).

 

 

59 минут назад, Lifeamove сказал:

Второй я понимаю для яндекса, а первый для кого?

Для всех остальных. Он и для Яндекса был бы, если б для Яндекса не было отдельного.

 

 

59 минут назад, Lifeamove сказал:

нужно ли в первом в конце дописывать Host: https://site.ru ?

Кроме Яндекса, вроде, никто больше эту директиву не понимает.

 

 

Ааа  Disallow: /catalog это не значит то, что он не будет индексировать каталог товаров! Тут имеется ввиду именно url /caralog (и все его под категории) Так?

 

@Strelez  Спасибо. Почитаю)

Змінено 13 квітня 2017 користувачем Lifeamove

[Dotrox]

20 минут назад, Lifeamove сказал:

Это добавлять под User-agent: *   - то есть для всех для гугла... да?

Да. Но и для Яндекса тоже добавить можно, хуже не будет.

 

 

20 минут назад, Lifeamove сказал:

Ааа  Disallow: /catalog это не значит то, что он не будет индексировать каталог товаров! Тут имеется ввиду именно url /caralog

В роботсе все директивы указывают на конкретные пути, а не на такие абстрактные понятия как "каталог товаров".

[Lifeamove]

@Dotrox респект, думаю тема может считаться закрытой)

[Paint]

В 13.04.2017 в 22:37, Dotrox сказал:

Но надо ещё добавить:

Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Чтоб Гугл мог индексировать стили, скрипты и изображения из вёрстки (ему это необходимо, чтоб видеть сайт глазами браузера).

 

Скажите это равносильные варианты (или то или то оставить), или лучше прописать так как вы предложили?

Скрытый текст

Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

 

[Dotrox]

В 15.06.2017 в 12:15, Paint сказал:

Скажите это равносильные варианты (или то или то оставить), или лучше прописать так как вы предложили?

Нужно выбрать только один вариант.

разница в том, что мой вариант открывает для индексации только файлы стилей, скриптов и изображений используемых в вёрстке, а ваш вариант открывает полностью содержимое директорий, в которых может быть ещё что угодно.