Закрыть разделы (языки) от индексации

[bitterlemon]

Добрый,

 

на сайте три языка (литовский, русский, английский).

 

Литовский  - по умолчанию, без префикса языка.

Русский и англ. , соотв. - /ru  /en

 

Как их полностью закрыть и все что "под ними"? Это - дубли, они есть на других сайтах. Индексировать надо только литовский.

 

В гугле нашел примерное :

 

User-agent: *

Disallow: /myfile1.htm
Disallow: /myfile2.htm
Disallow: /myfile3.htm

 

Но как правильно, просто mojsait.lt/ru или надо конкретно каждую папку указывать?

[markimax]

Это ошибочное мнение.

Наоборот индексация языков помогает ПС понять какой язык дать при выдаче (не забываем требование hreflang) , соответственно имея такой функционал в индекс попадают не дубли, как вы считаете. И все происходит с точностью до наоборот - языковые страницы подымают ранжирование, в выдаче ПС

А если их еще сделать чуть разными по контенту - то это фактически идет расширение семантического ядра

[bitterlemon]

В тех разделах только продукты, названия которых есть на нескольких других сайтах 1 в 1.

 

И немного текстов, тоже 1 в 1.

 

Продукты изменить я никак не могу.

 

Переписывать тексты тоже не комильфо, но если очень нужно для пользы дела, может и перепишем.