Перейти к содержанию

Рекомендуемые сообщения

webmaster.yandex.ru выдает ошибку

Возможные проблемы

В файле robots.txt не задана директива Host
Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.
Добавьте директиву Host в файл robots.txt.

 

 

Ответов на форуме не нашёл...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Добавьте в файл robots.txt в секции User-agent: Yandex строку (в самый низ)

Host: адрес_основного_сайта.ru 

 

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
25 minutes ago, Strelez said:

Добавьте в файл robots.txt в секции User-agent: Yandex строку (в самый низ)

Обязательно учтите протокол http:// или https://

 

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Strelez @alexstorm  Спасибо большое!

 

Без всяких "Disallow: /*" да?

Просто Host:пробел https://site.ru в конце без "/"?

В самом конце раздела user-agent: Yandex

Clean-param: tracking

после него

Host: https://site.ru

Изменено пользователем Lifeamove

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Lifeamove,

У вас в первом посту (первая ссылка)

Цитата

#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается

User-Agent: *
Disallow:
Host: myhost.ru

И там же чуть ниже

Цитата

Директива Host должна содержать:

  • Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru).

Поэтому безо всяких слэшей

1 час назад, Lifeamove сказал:

 

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Strelez  спасибо за помощь !

 

У меня в конце раздела Use-agent: Yandex после Dissalow есть Clean-param: tracking - это адрес страницы сайта который содержит динамический параметр, не могу понять что такое tracking ? 

 

а Dissalow: / это указание раздела который запрещён для робота - то есть он не будет индексироваться правильно?

а почему у меня указано:

Disallow: /catalog    это что значит весь мой каталог для робота запрещён, правильно я понимаю?

 

Ещё такой вопрос там у меня в robots.txt есть 2 раздела... 1ый: User-agent: *       2ой: User-agent: Yandex

Второй я понимаю для яндекса, а первый для кого? (нужно ли в первом в конце дописывать Host: https://site.ru ?)

Изменено пользователем Lifeamove

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
30 минут назад, Lifeamove сказал:

Disallow: /catalog    это что значит весь мой каталог для робота запрещён, правильно я понимаю?

Да. А если точнее, то содержимое директории catalog, как и директории admin и всех остальных директорий, содержимое которых поисковики не должны видеть (не именно через эту директиву, а через подобные, которые в роботсе ОК по дефолту).

Но надо ещё добавить:

Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Чтоб Гугл мог индексировать стили, скрипты и изображения из вёрстки (ему это необходимо, чтоб видеть сайт глазами браузера).

 

 

30 минут назад, Lifeamove сказал:

Второй я понимаю для яндекса, а первый для кого?

Для всех остальных. Он и для Яндекса был бы, если б для Яндекса не было отдельного.

 

 

30 минут назад, Lifeamove сказал:

нужно ли в первом в конце дописывать Host: https://site.ru ?

Кроме Яндекса, вроде, никто больше эту директиву не понимает.

Изменено пользователем Dotrox
  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Lifeamove

Чтобы мне много букв не дублировать почитайте вот эту тему (можете еще что-либо подобное поискать)

Цитата

Примечание. Для каждого файла robots.txt обрабатывается только одна директива Host. Если в файле указано несколько директив, робот использует первую.

 

Изменено пользователем Strelez
цитата
  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Dotrox    Это добавлять под User-agent: *   - то есть для всех для гугла... да?

Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

 

 

Скрытый текст
29 минут назад, Dotrox сказал:
59 минут назад, Lifeamove сказал:

Disallow: /catalog    это что значит весь мой каталог для робота запрещён, правильно я понимаю?

Да. А если точнее, то содержимое директории catalog, как и директории admin и всех остальных директорий, содержимое которых поисковики не должны видеть (не именно через эту директиву, а через подобные, которые в роботсе ОК по дефолту).

Но надо ещё добавить:



Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Чтоб Гугл мог индексировать стили, скрипты и изображения из вёрстки (ему это необходимо, чтоб видеть сайт глазами браузера).

 

 

59 минут назад, Lifeamove сказал:

Второй я понимаю для яндекса, а первый для кого?

Для всех остальных. Он и для Яндекса был бы, если б для Яндекса не было отдельного.

 

 

59 минут назад, Lifeamove сказал:

нужно ли в первом в конце дописывать Host: https://site.ru ?

Кроме Яндекса, вроде, никто больше эту директиву не понимает.

 

 

Ааа  Disallow: /catalog это не значит то, что он не будет индексировать каталог товаров! Тут имеется ввиду именно url /caralog (и все его под категории) Так?

 

@Strelez  Спасибо. Почитаю)

Изменено пользователем Lifeamove

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
20 минут назад, Lifeamove сказал:

Это добавлять под User-agent: *   - то есть для всех для гугла... да?

Да. Но и для Яндекса тоже добавить можно, хуже не будет.

 

 

20 минут назад, Lifeamove сказал:

Ааа  Disallow: /catalog это не значит то, что он не будет индексировать каталог товаров! Тут имеется ввиду именно url /caralog

В роботсе все директивы указывают на конкретные пути, а не на такие абстрактные понятия как "каталог товаров".

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

@Dotrox респект, думаю тема может считаться закрытой)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В 13.04.2017 в 22:37, Dotrox сказал:

Но надо ещё добавить:


Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Чтоб Гугл мог индексировать стили, скрипты и изображения из вёрстки (ему это необходимо, чтоб видеть сайт глазами браузера).

 

Скажите это равносильные варианты (или то или то оставить), или лучше прописать так как вы предложили?

Скрытый текст

Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В 15.06.2017 в 12:15, Paint сказал:

Скажите это равносильные варианты (или то или то оставить), или лучше прописать так как вы предложили?

Нужно выбрать только один вариант.

разница в том, что мой вариант открывает для индексации только файлы стилей, скриптов и изображений используемых в вёрстке, а ваш вариант открывает полностью содержимое директорий, в которых может быть ещё что угодно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.