Перейти к содержанию
Equalizer

Robots.txt

Рекомендуемые сообщения

Вот решил узнать кто какие категории запрещает, и разрешаетвыкладываем ваши Robots.txt

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Поддерживаю тему, просветите пожалуйста кто что запрещает?хочу сформировать свой файл - но пока в замешательстве что там указывать :О)спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Огоооо!! сколько ответов!!!! за год не перечитать!!! :)

ну ладно... вот:

Не секрет, что в opencart есть такая СЕО-проблема - одна и та же страница имеет несколько ссылок. Таким образом, поисковик воспринимает одну и ту же страницу как две разные, отсюда дублирование контента, склейки... а это всё не хорошо :)

Может это глупо, но я указал Disallow: на ссылки товара от корня сайта, например

Disallow: /mysite.com.ua/product1

Disallow: /mysite.com.ua/product2

Disallow: /mysite.com.ua/product3

и так далее...

также указал общие правила при составлении Robots.txt :

User-agent: Yandex

Disallow: /cgi-bin

Host: mysite.com.ua - это для Яши (хочу без www)

и

User-agent: *

Disallow: /cgi-bin - * суть правило для всех поисковых роботов

подробнее о составлении читайте здесь http://seob.info/robots-txt.html

Если кто в курсе, скажите, можно ли решить проблему дублирования контента таким образом, запретив определённые ссылки для индексации в файле Robots.txt ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.