Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Robots.txt


Equalizer
 Поделиться

Рекомендованные сообщения

  • 1 месяц спустя...

Поддерживаю тему, просветите пожалуйста кто что запрещает?хочу сформировать свой файл - но пока в замешательстве что там указывать :О)спасибо.

Ссылка на комментарий
Поделиться на других сайтах


  • 2 недели спустя...

Огоооо!! сколько ответов!!!! за год не перечитать!!! :)

ну ладно... вот:

Не секрет, что в opencart есть такая СЕО-проблема - одна и та же страница имеет несколько ссылок. Таким образом, поисковик воспринимает одну и ту же страницу как две разные, отсюда дублирование контента, склейки... а это всё не хорошо :)

Может это глупо, но я указал Disallow: на ссылки товара от корня сайта, например

Disallow: /mysite.com.ua/product1

Disallow: /mysite.com.ua/product2

Disallow: /mysite.com.ua/product3

и так далее...

также указал общие правила при составлении Robots.txt :

User-agent: Yandex

Disallow: /cgi-bin

Host: mysite.com.ua - это для Яши (хочу без www)

и

User-agent: *

Disallow: /cgi-bin - * суть правило для всех поисковых роботов

подробнее о составлении читайте здесь http://seob.info/robots-txt.html

Если кто в курсе, скажите, можно ли решить проблему дублирования контента таким образом, запретив определённые ссылки для индексации в файле Robots.txt ?

Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу.
×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.