Как скрыть от индексации все товары

[Elizavetta]

Добрый день. Помогите пожалуйста скрыть от индексации все товары на сайте, категорий  очень много, а ссылка выглядит таким образом - сайт/категория/товар.html

[AUSS]

Основные примеры использования robots.txt

Запрет на индексацию всего сайта

User-agent: *

Disallow: /

Эту инструкцию важно использовать, когда вы разрабатываете новый сайт и выкладываете доступ к нему, например, через поддомен.

Очень часто разработчики забывают таким образом закрыть от индексации сайт и получаем сразу полную копию сайта в индексе поисковых систем. Если это всё-таки произошло, то надо сделать постраничный 301 редирект на ваш основной домен.

 

По первой ссылке гугла

Змінено 10 березня 2020 користувачем AUSS

[Elizavetta]

В 10.03.2020 в 10:08, AUSS сказал:

Основные примеры использования robots.txt

Запрет на индексацию всего сайта

User-agent: *

Disallow: /

Эту инструкцию важно использовать, когда вы разрабатываете новый сайт и выкладываете доступ к нему, например, через поддомен.

Очень часто разработчики забывают таким образом закрыть от индексации сайт и получаем сразу полную копию сайта в индексе поисковых систем. Если это всё-таки произошло, то надо сделать постраничный 301 редирект на ваш основной домен.

 

По первой ссылке гугла

Спасибо за ответ.

User-agent: *

Disallow: / а что здесь указывать?
У меня нет поддоменов, один домен один сайт - стоят редиректы с www и http. Зато у меня категорий штук 400 и товаров +- 4000!

Как скрыть весь сайт, оду страницу или категорию через "User-agent: и *Disallow: / " в роботс я знаю!

Но, как максимально проще и эффективнее можно скрыть все товары и только товары? Категории и другие страницы должны индексироваться! Такой способ вообще есть?

Змінено 12 березня 2020 користувачем Elizavetta