Перейти к содержанию
Artem1976

Правильно ли состряпан робот TXT для всех поисковиков?

Рекомендуемые сообщения

Добрый день. Скажите пожалуйста, какая сторочка в файле робот TXT блокирует вот эту ссылку. http://sa-tin.ru/news?limit=15  Проверяю её в Googlebot, пишет что заблокирована в файле robot.txt.

 

И какие строки в этом файле лишние? Уже всю голову запутал себе. Я так полагаю что выделил красным, они блокируют?

 

 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Host: мой сайт
Sitemap: мой сайт мап

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Пробовал удалять эти две команды из файла. Не помогает, ссылка блокируется.

Disallow: /*?limit=
Disallow: /*&limit=

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Блокирует Disallow: /*?limit=

 

Нужно ждать загрузки изменённого robots.txt ГУГЛОМ.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Блокирует Disallow: /*?limit=

 

Нужно ждать загрузки изменённого robots.txt ГУГЛОМ.

Что то припоминаю по этому поводу. Как то я вроде обнавлял робот тхт.

Спасибо. Пойду вырежу с корнем. А в остальном вроде бы как норм или мне так кажется?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Почитай здесь может найдешь что ни будь интересное для себя.

 

https://opencartforum.com/topic/26262-убираем-дубли-в-robots/

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Почитай здесь может найдешь что ни будь интересное для себя.

 

https://opencartforum.com/topic/26262-убираем-дубли-в-robots/

Спасибо. Очень нужная тема.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.