Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

robots.txt

boxbaster
 Share

Recommended Posts

Otvet Grand Master

Otvet

Опубліковано:
Опубліковано:

Скиньте пожалуйста "наполнение " робота для полного закрытия от индексации. Спрошу еще раз. Страшно ли то что сайт уже неделю висит не закрытый от пс. Что будет если роботы проиндексируют дефолтный шаблон движка? Заранее спасибо!

User-agent: *

Disallow: /

Надіслати
Поділитися на інших сайтах
1

  • 1 month later...
Jugg13r Newbie

Jugg13r

Опубліковано:
Опубліковано:

Здравствуйте добрые люди.

 

Очень нужна Ваша помощь, заказал разработку сайта у стороннего человека, ничего не понимая в этом деле.
Сайт сделан, помаленьку вникаю в суть да дело, но есть одна проблема. Все поисковики ругаются на robots.txt, если поможете разобраться, буду премного благодарен.
 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
 
Sitemap: http://сайт.ru/sitemap.xml

 
Это скопировано из файла robots.txt с одним только изменением - имя сайта.
Надіслати
Поділитися на інших сайтах

  • 2 months later...
Andris Community Regular

Andris

Опубліковано:
Опубліковано:

Здравствуйте!
Недавно получил такое замечание в Гугл вебмастер:

"Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске."
Привожу код роботс для гугла:

User-agent: Googlebot
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /index.php?route=checkout/simplecheckout
Disallow: /index.php?route=account/simpleregister
Disallow: /cart/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /password-recovery
Disallow: /request-return/
Disallow: /compare-products/

Что подправить, чтобы Гугл снял замечание?

 

B еще вопрос.

Вместо 

Disallow: /*?sort=
Disallow: /*&sort=
и тому подобных order, limit, не правильнее ли просто
Disallow: /sort=

 

Заранее благодарю за советы!

Надіслати
Поділитися на інших сайтах

chukcha Grand Master

chukcha

Опубліковано:
Опубліковано:

B еще вопрос.

Вместо 

Disallow: /*?sort=
Disallow: /*&sort=
и тому подобных order, limit, не правильнее ли просто
Disallow: /sort=

 

 

С чего вы решили? что просто...

Надіслати
Поділитися на інших сайтах
1
1
1

chukcha Grand Master

chukcha

Опубліковано:
Опубліковано:

Когда непонятно читают мануалы.

Что вы прочитали про robots.txt?

 

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

 

Это читали?

Надіслати
Поділитися на інших сайтах
1
1
1

Andris Community Regular

Andris

Опубліковано:
Опубліковано:

Читал, ясности не прибавилось. Кроме того, там я не нашел информацию про спецсимволы "?" и "&".

Я понял так, что директива Disallow: /sort закроет от роботов все, что относится к "sort".

Зачем же тогда городить такой огород:

Disallow: /*sort
Disallow: /*?sort=
Disallow: /*&sort=
Надіслати
Поділитися на інших сайтах

chukcha Grand Master

chukcha

Опубліковано:
Опубліковано:

ставлю 100$ что не читали

 

Использование спецсимволов * и $

При указании путей директив Allow и Disallow можно использовать спецсимволы * и $, задавая, таким образом, определенные регулярные выражения. Спецсимвол * означает любую (в том числе пустую) последовательность символов. Примеры:

Надіслати
Поділитися на інших сайтах
1
1
1

Andris Community Regular

Andris

Опубліковано:
Опубліковано: (змінено)

ставлю 100$ что не читали

Ставьте что хотите. Я ставлю 200 $ что вы невнимательно читали мой предыдущий пост.

По вашей ссылке нет ничего об использовании "?" и "&", а вы мне пишите про * и $

Змінено користувачем Andris
Надіслати
Поділитися на інших сайтах

Andris Community Regular

Andris

Опубліковано:
Опубліковано:

Продублирую свой вопрос, который утонул в переписке, не имеющей отношения к теме:

Недавно получил такое замечание в Гугл вебмастер - "Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске."

Привожу код роботс для гугла:

User-agent: Googlebot
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /index.php?route=checkout/simplecheckout
Disallow: /index.php?route=account/simpleregister
Disallow: /cart/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /password-recovery
Disallow: /request-return/
Disallow: /compare-products/

Что подправить, чтобы Гугл снял замечание?

Надіслати
Поділитися на інших сайтах

chukcha Grand Master

chukcha

Опубліковано:
Опубліковано:

Ну... вы ж "читатель"...

Тогда на основании прочитанного, вы сможете ответить:

 

По какому пути у вас находятся стили и скрипты?

Надіслати
Поділитися на інших сайтах
1
1
1

  • 5 weeks later...
QbiQ Collaborator

QbiQ

Опубліковано:
Опубліковано:

Подскажите пожалуйста, я закрыл в робтс сайт от индексации поисковиков с помощью (Disallow: /) для того что бы для начала загрузить контент и товары и сделать уникальные описания, сейчас гугл и яндекс не индексирует сайт пишет что запрещено в файле робтс.тхт. У меня вопрос если я загружу все данные с тестового домена на тот, что закрыт от индексации и исправлю файл, открою так сказать доступ в файле робтс, поисковики будут его индексировать? Или лучше новый домен регистрировать и переносить туда все?

Надіслати
Поділитися на інших сайтах

Andris Community Regular

Andris

Опубліковано:
Опубліковано:

если я загружу все данные с тестового домена на тот, что закрыт от индексации и исправлю файл, открою так сказать доступ в файле робтс, поисковики будут его индексировать? Или лучше новый домен регистрировать и переносить туда все?

Когда наполните сайт, уберите в robots Disallow: /, через некоторое время поисковики зайдут и проиндексируют.

Новый домен регистрировать не имеет смысла.

Надіслати
Поділитися на інших сайтах

QbiQ Collaborator

QbiQ

Опубліковано:
Опубліковано:

Когда наполните сайт, уберите в robots Disallow: /, через некоторое время поисковики зайдут и проиндексируют.

Новый домен регистрировать не имеет смысла.

Благодарю! 

Надіслати
Поділитися на інших сайтах

saa92 Rookie

saa92

Опубліковано:
Опубліковано:

Здравствуйте!

Недавно получил такое замечание в Гугл вебмастер:

"Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске."

Привожу код роботс для гугла:

User-agent: Googlebot
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /index.php?route=checkout/simplecheckout
Disallow: /index.php?route=account/simpleregister
Disallow: /cart/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /password-recovery
Disallow: /request-return/
Disallow: /compare-products/

Что подправить, чтобы Гугл снял замечание?

 

B еще вопрос.

Вместо 

Disallow: /*?sort=
Disallow: /*&sort=
и тому подобных order, limit, не правильнее ли просто
Disallow: /sort=

 

Заранее благодарю за советы!

Откройте: Disallow: /catalog

Надіслати
Поділитися на інших сайтах

  • 1 month later...
florapraktik Mentor

florapraktik

Опубліковано:
Опубліковано: (змінено)

Нигде не встретил уточнение версии ОС. Можно-ли сделать вывод, что robot.txt будет одинаковый для всех версий? Т.е., структура и названия папок одинаковые?

 

И ещё. Посмотрел сайтмап, там присутствуют ссылки на карточки товаров, сортированные по производителю. Урл, конечно ЧПУшный. Насколько понял, ни один из приведенных примеров файла robot.txt не закроет их от индексации. Будет дубль. По-идее, надо добавлять запрет для каждого производителя. Я правильно понял? 

 

По поводу скриптов и стилей...

Allow: /catalog/view/   - это корректная запись, для того, что бы открыть скрипты и стили? Как корректно открыть скрипы и стили? В .htaccess  есть такая запись:

RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)

Она закрывает скрипы и стили от индексации?

 

Беда с этим роботом! :-)

Змінено користувачем florapraktik
Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
 Share
Перейти до списку тем

  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку

Покупцям

Розробникам

Корисна інформація

Останні розширення

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.

  Я даю згоду