Askeran17

Проблема с robots.txt от Яндекса

Рекомендуемые сообщения

Askeran17    0

Получаю вот такое сообщение от яндекса:

 

"Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление"

 

Дело в том что сайт изначально работал только по http, затем я сделал редирект на https, после чего Яндекс стал выдавать такое сообщение. Не пойму в чем моя ошибка, либо в htaccess, либо в robots не правильно настроил. Посоветуйте кто знает

 

в htaccess сделал так редирект:

 

#Rewrite everything to https
RewriteEngine On
RewriteCond %{HTTPS} !=on
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]

 

мой robots:

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: https://mysite.com
sitemap: https://mysite/sitemap.xml

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kindzaza    37

Все встанет на свои места, после того как Яндекс сделает сайт на https основным зеркалом.

 

https://названиае cайта перешедшего на https, также надо добавить в вебмастер

 

Должно получится, вот так

https://yadi.sk/i/0DassJlVsK7Gr

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Tom    2 016

В самом роботс нет дериктив именно для яндекса))))

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kindzaza    37

В самом роботс нет дериктив именно для яндекса))))

Даже с директивами для него он ругается будет. Только недавно это прошел.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Tom    2 016

Тогда ответ выше.В вебмастерах значится домен с http .По факту идёт перенаправление на https.Сюда и копать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Askeran17    0

То есть, добавить сайт с https в вебмастер, и таким образом получается два добавленных сайта на вебмастере. Не скажется ли это негативно ? Или лучше всего убрать первый (http) и добавить только https ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Tom    2 016

Два однозначно не нужны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kindzaza    37

Сам долго не понимал почему нет склейки и в панели не меняется на https, и проблемы с robots.txt (с редиректом)
 
добавил сайт с https, панель сама соединила их как на выложенном ранее скриншоте, и потом сделала сайт на https главным зеркалом. Так они и весят оба, только https является главным зеркалом и все.
 
Далее в панели beta версии в разделе Деагностика, нажал кнопочку проверки robots.txt, после проверки ругани со стороны яндекса не было.
 
По старому сайту на http страниц в поиске 0
 
https://yadi.sk/i/8DRC4fxdsKfvQ
 
И вот только что заметил, видимо появилось после полной склейки доменов
https://yadi.sk/i/4YPyT6hmsKgH5
Домен на http можно отвязать, тем самым выполнив

Два однозначно не нужны.


Судя по ответу яндекса после нажатия кнопки они так и останутся, https главным зеркалом, а http не главным.

 

https://yadi.sk/i/64hr0gQWsKhNo

Изменено пользователем Kindzaza

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу