Перейти к содержанию

Рекомендуемые сообщения

можно ли кого нибудь привести пример базового содержания для robot.txt? ато не хочется его пустым оставлять.

искал на форуме, у всех всё разное.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

в сборке он есть. да. но он ПУСТОЙ.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

можно ли кого нибудь привести пример базового содержания для robot.txt? ато не хочется его пустым оставлять.

искал на форуме, у всех всё разное.

User-agent: *
Disallow: /*route=product/search
Disallow: /*route=account/account
Disallow: /*route=checkout/shipping
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

Disallow: /*?page       		
#Запрещаем индексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей тайтлов и мета-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем индексировать все страницы производителей, так как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем индексировать все страницы с разными видами сортировок, ибо иначе у нас будет десяток дублей одной и той же страницы

Disallow: /*?order
#Запрещаем индексировать все страницы с разными видами порядка вывода, причины те же

Disallow: /*?keyword
#Запрещаем индексировать все страницы с метками
Allow: /

не забудь .htaccess поправить

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

User-agent: *
Disallow: /*route=product/search
Disallow: /*route=account/account
Disallow: /*route=checkout/shipping
Disallow: /*route=account/login
Disallow: /*route=checkout/cart
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system

Disallow: /*?page       		
#Запрещаем индексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей тайтлов и мета-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем индексировать все страницы производителей, так как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем индексировать все страницы с разными видами сортировок, ибо иначе у нас будет десяток дублей одной и той же страницы

Disallow: /*?order
#Запрещаем индексировать все страницы с разными видами порядка вывода, причины те же

Disallow: /*?keyword
#Запрещаем индексировать все страницы с метками
Allow: /

не забудь .htaccess поправить

спасибо.

а что именно там подправить?

вот что у меня там сейчас:

Options +FollowSymlinks

# Запретить листинг директорий

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.tpl">

Order deny,allow

Deny from all

</FilesMatch>

# Необходимо для ЧПУ.

RewriteEngine On

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

### Additional Settings that may need to be enabled for some servers

### Uncomment the commands by removing the # sign in front of it.

### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:

# php_flag register_globals off

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

а что именно там подправить?

меня тоже интересует этот вопрос, сейчас стоит стандартное наполнение, подскажите, что нужно изменить или дайте ссылку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я так понял, что имелось в виду исправить расширение данного файла...

убрать .txt ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Всем Привет! Жара! Припекает! Теперь еще и Яндекс и Гуугл на пару с солнцем! :P

Не стал создавать отдельную тему по поводу появления в открытом доступе по поисковым запросам в Яндексе и Гуугле личных данных, секретных документов с грифом "секретно" и т.д.

Все (по объяснению специалистов поисковиков) упирается в файл robot.txt !!

Под угрозой репутация интернет магазинов, отвечающих за личные данные своих пользователей.

Вот вопрос: как правильно и исчерпывающе закрыть доступ к этим данным? Какие файлы и какие страницы закрыть от поисковиков? Как правильно закрыть от индексации?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.