Получаю вот такое сообщение от яндекса:
"Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление"
Дело в том что сайт изначально работал только по http, затем я сделал редирект на https, после чего Яндекс стал выдавать такое сообщение. Не пойму в чем моя ошибка, либо в htaccess, либо в robots не правильно настроил. Посоветуйте кто знает
в htaccess сделал так редирект:
#Rewrite everything to https
RewriteEngine On
RewriteCond %{HTTPS} !=on
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
мой robots:
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: https://mysite.com
sitemap: https://mysite/sitemap.xml