robot.txt

[DonDr]

можно ли кого нибудь привести пример базового содержания для robot.txt? ато не хочется его пустым оставлять.

искал на форуме, у всех всё разное.

[DonDr]

в сборке он есть. да. но он ПУСТОЙ.

[DonDr]

использую ocstore_v0.1.7

[Гість]

  В 06.04.2011 в 05:44, 'DonDr' сказав:

можно ли кого нибудь привести пример базового содержания для robot.txt? ато не хочется его пустым оставлять.

искал на форуме, у всех всё разное.

User-agent: *
Disallow: /*route=product/search
Disallow: /*route=account/account
Disallow: /*route=checkout/shipping
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

Disallow: /*?page       		
#Запрещаем индексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей тайтлов и мета-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем индексировать все страницы производителей, так как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем индексировать все страницы с разными видами сортировок, ибо иначе у нас будет десяток дублей одной и той же страницы

Disallow: /*?order
#Запрещаем индексировать все страницы с разными видами порядка вывода, причины те же

Disallow: /*?keyword
#Запрещаем индексировать все страницы с метками
Allow: /

не забудь .htaccess поправить

[DonDr]

  В 06.04.2011 в 07:58, 'shoma' сказав:

User-agent: *
Disallow: /*route=product/search
Disallow: /*route=account/account
Disallow: /*route=checkout/shipping
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

Disallow: /*?page       		
#Запрещаем индексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей тайтлов и мета-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем индексировать все страницы производителей, так как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем индексировать все страницы с разными видами сортировок, ибо иначе у нас будет десяток дублей одной и той же страницы

Disallow: /*?order
#Запрещаем индексировать все страницы с разными видами порядка вывода, причины те же

Disallow: /*?keyword
#Запрещаем индексировать все страницы с метками
Allow: /

не забудь .htaccess поправить

спасибо.

а что именно там подправить?

вот что у меня там сейчас:

Options +FollowSymlinks

# Запретить листинг директорий

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.tpl">

Order deny,allow

Deny from all

</FilesMatch>

# Необходимо для ЧПУ.

RewriteEngine On

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

### Additional Settings that may need to be enabled for some servers

### Uncomment the commands by removing the # sign in front of it.

### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:

# php_flag register_globals off

[unic]

  В 06.04.2011 в 08:06, 'DonDr' сказав:

а что именно там подправить?

меня тоже интересует этот вопрос, сейчас стоит стандартное наполнение, подскажите, что нужно изменить или дайте ссылку.

[stefanboss]

Я так понял, что имелось в виду исправить расширение данного файла...

убрать .txt ...

[eGeo]

Всем Привет! Жара! Припекает! Теперь еще и Яндекс и Гуугл на пару с солнцем! :P

Не стал создавать отдельную тему по поводу появления в открытом доступе по поисковым запросам в Яндексе и Гуугле личных данных, секретных документов с грифом "секретно" и т.д.

Все (по объяснению специалистов поисковиков) упирается в файл robot.txt !!

Под угрозой репутация интернет магазинов, отвечающих за личные данные своих пользователей.

Вот вопрос: как правильно и исчерпывающе закрыть доступ к этим данным? Какие файлы и какие страницы закрыть от поисковиков? Как правильно закрыть от индексации?