Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

robots.txt не задана директива


Recommended Posts

webmaster.yandex.ru выдает ошибку

Возможные проблемы

В файле robots.txt не задана директива Host
Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.
Добавьте директиву Host в файл robots.txt.

 

 

Ответов на форуме не нашёл...

Надіслати
Поділитися на інших сайтах


25 minutes ago, Strelez said:

Добавьте в файл robots.txt в секции User-agent: Yandex строку (в самый низ)

Обязательно учтите протокол http:// или https://

 

  • +1 1
Надіслати
Поділитися на інших сайтах

@Strelez @alexstorm  Спасибо большое!

 

Без всяких "Disallow: /*" да?

Просто Host:пробел https://site.ru в конце без "/"?

В самом конце раздела user-agent: Yandex

Clean-param: tracking

после него

Host: https://site.ru

Змінено користувачем Lifeamove
Надіслати
Поділитися на інших сайтах


Lifeamove,

У вас в первом посту (первая ссылка)

Цитата

#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается

User-Agent: *
Disallow:
Host: myhost.ru

И там же чуть ниже

Цитата

Директива Host должна содержать:

  • Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru).

Поэтому безо всяких слэшей

1 час назад, Lifeamove сказал:

 

  • +1 1
Надіслати
Поділитися на інших сайтах


@Strelez  спасибо за помощь !

 

У меня в конце раздела Use-agent: Yandex после Dissalow есть Clean-param: tracking - это адрес страницы сайта который содержит динамический параметр, не могу понять что такое tracking ? 

 

а Dissalow: / это указание раздела который запрещён для робота - то есть он не будет индексироваться правильно?

а почему у меня указано:

Disallow: /catalog    это что значит весь мой каталог для робота запрещён, правильно я понимаю?

 

Ещё такой вопрос там у меня в robots.txt есть 2 раздела... 1ый: User-agent: *       2ой: User-agent: Yandex

Второй я понимаю для яндекса, а первый для кого? (нужно ли в первом в конце дописывать Host: https://site.ru ?)

Змінено користувачем Lifeamove
Надіслати
Поділитися на інших сайтах


30 минут назад, Lifeamove сказал:

Disallow: /catalog    это что значит весь мой каталог для робота запрещён, правильно я понимаю?

Да. А если точнее, то содержимое директории catalog, как и директории admin и всех остальных директорий, содержимое которых поисковики не должны видеть (не именно через эту директиву, а через подобные, которые в роботсе ОК по дефолту).

Но надо ещё добавить:

Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Чтоб Гугл мог индексировать стили, скрипты и изображения из вёрстки (ему это необходимо, чтоб видеть сайт глазами браузера).

 

 

30 минут назад, Lifeamove сказал:

Второй я понимаю для яндекса, а первый для кого?

Для всех остальных. Он и для Яндекса был бы, если б для Яндекса не было отдельного.

 

 

30 минут назад, Lifeamove сказал:

нужно ли в первом в конце дописывать Host: https://site.ru ?

Кроме Яндекса, вроде, никто больше эту директиву не понимает.

Змінено користувачем Dotrox
  • +1 1
Надіслати
Поділитися на інших сайтах


@Lifeamove

Чтобы мне много букв не дублировать почитайте вот эту тему (можете еще что-либо подобное поискать)

Цитата

Примечание. Для каждого файла robots.txt обрабатывается только одна директива Host. Если в файле указано несколько директив, робот использует первую.

 

Змінено користувачем Strelez
цитата
  • +1 1
Надіслати
Поділитися на інших сайтах


@Dotrox    Это добавлять под User-agent: *   - то есть для всех для гугла... да?

Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

 

 

Скрытый текст
29 минут назад, Dotrox сказал:
59 минут назад, Lifeamove сказал:

Disallow: /catalog    это что значит весь мой каталог для робота запрещён, правильно я понимаю?

Да. А если точнее, то содержимое директории catalog, как и директории admin и всех остальных директорий, содержимое которых поисковики не должны видеть (не именно через эту директиву, а через подобные, которые в роботсе ОК по дефолту).

Но надо ещё добавить:



Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Чтоб Гугл мог индексировать стили, скрипты и изображения из вёрстки (ему это необходимо, чтоб видеть сайт глазами браузера).

 

 

59 минут назад, Lifeamove сказал:

Второй я понимаю для яндекса, а первый для кого?

Для всех остальных. Он и для Яндекса был бы, если б для Яндекса не было отдельного.

 

 

59 минут назад, Lifeamove сказал:

нужно ли в первом в конце дописывать Host: https://site.ru ?

Кроме Яндекса, вроде, никто больше эту директиву не понимает.

 

 

Ааа  Disallow: /catalog это не значит то, что он не будет индексировать каталог товаров! Тут имеется ввиду именно url /caralog (и все его под категории) Так?

 

@Strelez  Спасибо. Почитаю)

Змінено користувачем Lifeamove
Надіслати
Поділитися на інших сайтах


20 минут назад, Lifeamove сказал:

Это добавлять под User-agent: *   - то есть для всех для гугла... да?

Да. Но и для Яндекса тоже добавить можно, хуже не будет.

 

 

20 минут назад, Lifeamove сказал:

Ааа  Disallow: /catalog это не значит то, что он не будет индексировать каталог товаров! Тут имеется ввиду именно url /caralog

В роботсе все директивы указывают на конкретные пути, а не на такие абстрактные понятия как "каталог товаров".

  • +1 1
Надіслати
Поділитися на інших сайтах


  • 2 months later...
В 13.04.2017 в 22:37, Dotrox сказал:

Но надо ещё добавить:


Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Чтоб Гугл мог индексировать стили, скрипты и изображения из вёрстки (ему это необходимо, чтоб видеть сайт глазами браузера).

 

Скажите это равносильные варианты (или то или то оставить), или лучше прописать так как вы предложили?

Скрытый текст

Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

 

Надіслати
Поділитися на інших сайтах


В 15.06.2017 в 12:15, Paint сказал:

Скажите это равносильные варианты (или то или то оставить), или лучше прописать так как вы предложили?

Нужно выбрать только один вариант.

разница в том, что мой вариант открывает для индексации только файлы стилей, скриптов и изображений используемых в вёрстке, а ваш вариант открывает полностью содержимое директорий, в которых может быть ещё что угодно.

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.