Запрет на индексацию дублей

[OldAine]

Соврал. Такой вариант то-же канает)

 

 

Disallow: /*?mfp=
Disallow: /*&mfp=

 

Короче это то же что и 

 

Disallow: /*?mfp=*
Disallow: /*&mfp=*

[freelancer]

совершенно верно

По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *

 

 

https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#asterisk-dollar

[siniy]

1. Нет не сойдет, все будет ок, не забудьте только из роботса убрать запрет сортировок - чтобы бот ходил на эти страницы но не индексировал. Это важно! (в противном случае - долгое мучительное выпадение из соплей, если туда что то попало)

 

 

можно узнать о каких сортировка идет речь и как выглядят эти команды для запрета сортировок?

у меня бОльшая часть сайта в соплях, и не может вылести, может в этом дело?

как проверить?

[OldAine]

можно узнать о каких сортировка идет речь и как выглядят эти команды для запрета сортировок?

у меня бОльшая часть сайта в соплях, и не может вылести, может в этом дело?

как проверить?

Этот совет относится к пользователям модуля SeoFix

[vovik53]

Предположим, есть у меня страница акриловых ванн.

Ссылка на эту страницу: index.php?route=product/category&path=25_32  

Чпу ссылка этой страницы: /vanny/akrilovye/  

Вопрос: Если в robots.txt я напишу:

Disallow: index.php?route=product/category&path=25_32

Таким образом я запрещу поисковику индексировать страницу акриловых ванн совсем? или только её не-чпу дубль?

 

Мне просто не совсем понятно, как это дело работает. Запрет идет на индексацию содержимого страницы или ссылок на содержимое?

У меня была идентичная проблема в robots.txt прописал такую маску Disallow: index.php?route=product/category&path= без цифр

при апгейте яндекс убрал почти все ссылки без чпу.

[DamirTT]

В 21.05.2015 в 16:24, snastik сказал:

По первому вопросу - да запретите дубль.
Я иногда у себя в магазинах делаю полный запрет на индексацию страниц без ЧПУ
в таком виде:
Disalow: /index.php*

 

По второму вопросу - да seopro сделает вам 301 редирект и даже если кривые ссылки попали в индекс - то у вас все красиво переклеится через какое то время на уникальную ЧПУ

Спасибо!

[florapraktik]

В 25.06.2015 в 22:24, siniy сказал:

...у меня бОльшая часть сайта в соплях, и не может вылести, может в этом дело?

Например, если сначала страницы сортировок попали в индекс, а потом Вы закрыли их в роботс, то из индекса они сами по себе не выпадут.

Если Вы пропишете на них ноиндекс, нофоллоу, но они тоже не выпадут, потому что робот их не посещает из-за запрета в файле роботс.тхт и поэтому про эти правила ничего не знает.

Пропишите на этих страницах ноиндкс, нофоллоу и откройте их в роботс - так должно помочь, по идее.

Или забить и оставить как есть (тоже вполне рабочий вариант).