Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

robots.txt

boxbaster
 Share

Recommended Posts

Garic Enthusiast

Garic

Опубліковано:
Опубліковано: (змінено)

Здравствуйте. В теме написано, как закрывать для индексации отдельные папки или страницы. У меня следующее: беру хостинг с тестовым периодом, на тестовый период дают бесплатный домен. Так вот, сайт пока на локальном, хочу протестировать, но закрыть весь сайт для ПС, ведь он будет под другим доменом. Посмотрел, нужно в robots прописать это: User-agent: * Disallow: / 

или   RewriteEngine On

RewriteCond  %{REMOTE_ADDR} !95.243.......

где прописываю свой ап (что бы заходить мог только я)

Как лучше сделать, может еще есть варианты? Спасибо.  

Змінено користувачем Garic
Надіслати
Поділитися на інших сайтах

KOT1646 Enthusiast

KOT1646

Опубліковано:
Опубліковано:

Доброго времени суток, ситуация такая. Проверяю Sitemap через вэбмастер яндекс. Пишет Указанный URL запрещён к индексированию в файле robots.txt

Никак не вкурю где он запрещен. :oops:

Поглядите кто знает.

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: *?
Clean-param: tracking
Host: privet-mebel.ru

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Надіслати
Поділитися на інших сайтах

WolFRocK Enthusiast

WolFRocK

Опубліковано:
Опубліковано: (змінено)

Доброго времени суток, ситуация такая. Проверяю Sitemap через вэбмастер яндекс. Пишет Указанный URL запрещён к индексированию в файле robots.txt

Никак не вкурю где он запрещен. :oops:

Поглядите кто знает.


Disallow: /catalog
Disallow: *? 

Disallow: /catalog

Вот это нужно удалить

Змінено користувачем WolFRocK
Надіслати
Поділитися на інших сайтах

m11 Community Regular

m11

Опубліковано:
Опубліковано:

Я бы по другому вопрос поставил - Что за дрянь этот Бинг, который в течение 2-х лет не видит сайт.

Уж не знаю, на территории какой страны продает Ваш магазин, но в РФ и ближнем зарубежье доля этого поисковика ничтожна мала.

Я на него внимание вообще не обращаю.

Думаю лишним не будет если в Бинге и Яхо появится хоть что то, а там ноль полный, так как у меня и бабушки и дедушки покупают не думаю что они стандартный браузер с купленного компа сменили на другой. Все нашел как все сделать, это кака-то глупость опенкарт и в 2.0 в яндексе ошибки выдает, Рулит англо форум куча модулей для роботов.

Надіслати
Поділитися на інших сайтах

m11 Community Regular

m11

Опубліковано:
Опубліковано:

Всем привет кто знает от куда Майл ру поиск хавает? Код поставил давно в админка мастера есть но в поиске ничтожно мало по сравнению с другими поисковиками.

Надіслати
Поділитися на інших сайтах

denchis Enthusiast

denchis

Опубліковано:
Опубліковано:

Подскажите пожалуйста куда копать, сбился с пути истинного :
1. Есть роботс.тхт : http://zettamaster.ru/robots.txt  - он на opencart 2.0
2. Есть сервис : https://www.xml-sitemaps.com
3. Для предыдущего проекта на 1.5.4.1 - проблем нет, все 300 страниц нашлось, все что надо в sitemap.xml и все ок.

 

Есть ли какие то технические особенности опенкарта 2.0 - а то по факту сейчас СайтМап выглядит примерно так :

 

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
<!--
 created with Free Online Sitemap Generator www.xml-sitemaps.com 
-->
<url>
<loc>http://zettamaster.ru/</loc>
</url>
<url>
<loc>http://zettamaster.ru/contact-us/</loc>
</url>
<url>
<loc>http://zettamaster.ru/login/</loc>
</url>
<url>
<loc>http://zettamaster.ru/create-account/</loc>
</url>
<url>
<loc>http://zettamaster.ru/cart/</loc>
</url>
<url>
<loc>http://zettamaster.ru/about_us</loc>
</url>
<url>
<loc>http://zettamaster.ru/delivery</loc>
</url>
<url>
<loc>http://zettamaster.ru/specials/</loc>
</url>
<url>
<loc>http://zettamaster.ru/affiliate-login/</loc>
</url>
<url>
<loc>http://zettamaster.ru/sitemap/</loc>
</url>
</urlset>

Буду рад любым комментариям, заранее спасибо. 

Надіслати
Поділитися на інших сайтах

Otvet Grand Master

Otvet

Опубліковано:
Опубліковано: (змінено)

Вы домой через окно ходите?

Зачем пользоваться какой то ересью, если есть встроенный сайтмап?

Змінено користувачем Otvet
  • +1 2
Надіслати
Поділитися на інших сайтах
1

denchis Enthusiast

denchis

Опубліковано:
Опубліковано:

Вы домой через окно ходите?

Зачем пользоваться какой то ересью, если есть встроенный сайтмап?

 

Вопрос в том, что через гугл вебмастер - как то криво подвязывается стандартный сайт мап.

 

Вопрос в другом, почему никаких ограничений в 1.5.4.1 не возникает, а в версии 2.0 - как будто - что то блокирует на уровне CMS доступ к остальным разделам на сайте, созданных с учетом SeoPro.

 

P.S. А домой я хожу по пожарной лестнице на пятый этаж, ибо полезно для здоровья  8-)

Надіслати
Поділитися на інших сайтах

  • 1 month later...
  • 1 month later...
laim731 Proficient

laim731

Опубліковано:
Опубліковано:

подскажите есть ли ошибки и что исправить 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /poisk/?filter_tag=
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /wishlist
Disallow: /login
Disallow: /poisk/?filter_tag=
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif
 
 
Host: site.ru
Надіслати
Поділитися на інших сайтах

  • 6 months later...
  • 3 weeks later...
ladiesman655 Apprentice

ladiesman655

Опубліковано:
Опубліковано: (змінено)

Не понимаю, почему гугл запрещает к индексации отзывы. Конкретно пути site.ru/index.php?route=product/product/review&product_id=1234

В robots следующие конструкции:

Allow: /index.php?route=product/product/review&product_id=*
Disallow: /*%*

Знаю, что со вторым оператором надо осторожнее, но там работает ЧПУ + нормально настроены исключения через allow. Пришлось его использовать по нескольким соображениям из-за изначально плохой тех. оптимизации. По идее, запрета на индексацию отзывов нет.

Змінено користувачем ladiesman655
Надіслати
Поділитися на інших сайтах

  • 6 months later...
oldejuk Contributor

oldejuk

Опубліковано:
Опубліковано: (змінено)

такая проблема закинул в корневую папку сайта файлик robots.txt,
но когда в адресной строке пишу mydomen/robots.txt  - выбивает https://mydomen/index.php?_route_=robots.txt 
и пишет "Запрашиваемая страница не найдена!".
где ошибка? 

 

п.с. если закинуть файлик например qq.txt, то спокойно заходит.

opencart 2.3.0.2

Змінено користувачем oldejuk
Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
 Share
Перейти до списку тем

  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку

Покупцям

Розробникам

Корисна інформація

Останні розширення

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.

  Я даю згоду