Проблема с robots.txt от Яндекса

[Askeran17]

Получаю вот такое сообщение от яндекса:

 

"Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление"

 

Дело в том что сайт изначально работал только по http, затем я сделал редирект на https, после чего Яндекс стал выдавать такое сообщение. Не пойму в чем моя ошибка, либо в htaccess, либо в robots не правильно настроил. Посоветуйте кто знает

 

в htaccess сделал так редирект:

 

#Rewrite everything to https

RewriteEngine On

RewriteCond %{HTTPS} !=on

RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]

 

мой robots:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: https://mysite.com
sitemap: https://mysite/sitemap.xml

[Kindzaza]

Все встанет на свои места, после того как Яндекс сделает сайт на https основным зеркалом.

 

https://названиае cайта перешедшего на https, также надо добавить в вебмастер

 

Должно получится, вот так

https://yadi.sk/i/0DassJlVsK7Gr

[Tom]

В самом роботс нет дериктив именно для яндекса))))

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

[Kindzaza]

В самом роботс нет дериктив именно для яндекса))))

Даже с директивами для него он ругается будет. Только недавно это прошел.

[Tom]

Тогда ответ выше.В вебмастерах значится домен с http .По факту идёт перенаправление на https.Сюда и копать.

[Askeran17]

То есть, добавить сайт с https в вебмастер, и таким образом получается два добавленных сайта на вебмастере. Не скажется ли это негативно ? Или лучше всего убрать первый (http) и добавить только https ?

[Tom]

Два однозначно не нужны.

[Kindzaza]

Сам долго не понимал почему нет склейки и в панели не меняется на https, и проблемы с robots.txt (с редиректом)
 
добавил сайт с https, панель сама соединила их как на выложенном ранее скриншоте, и потом сделала сайт на https главным зеркалом. Так они и весят оба, только https является главным зеркалом и все.
 
Далее в панели beta версии в разделе Деагностика, нажал кнопочку проверки robots.txt, после проверки ругани со стороны яндекса не было.
 
По старому сайту на http страниц в поиске 0
 
https://yadi.sk/i/8DRC4fxdsKfvQ
 
И вот только что заметил, видимо появилось после полной склейки доменов
https://yadi.sk/i/4YPyT6hmsKgH5
Домен на http можно отвязать, тем самым выполнив

Два однозначно не нужны.

Судя по ответу яндекса после нажатия кнопки они так и останутся, https главным зеркалом, а http не главным.

 

https://yadi.sk/i/64hr0gQWsKhNo

Змінено 7 червня 2016 користувачем Kindzaza