Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

Yarko1983
 Share

Recommended Posts

Yarko1983 Rookie

Yarko1983

Опубліковано:
Опубліковано:
Такое сообщение выдает в инструментах веб мастера.  GOOGLE (Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.)

отправлено на индексацию 782 ссылки.  проблем 239 ссылок

 

Вот robots.txt., в чем может быть проблема, первый раз работаю с опенкартом, до этого была джумла такого ни разу не было!

 

ПОМОГИТЕ РАЗОБРАТЬСЯ  

 

User-agent: * 

Disallow: /admin 

Disallow: /cache 

Disallow: /niks 

Disallow: /catalog 

Disallow: /download 

Disallow: /export 

Disallow: /system 

Disallow: /index.php?route=account 

Disallow: /index.php?route=account/account 

Disallow: /index.php?route=checkout/cart 

Disallow: /index.php?route=checkout/shipping 

Disallow: /index.php?route=common/home 

Disallow: /index.php?route=product/product/captcha 

Disallow: /index.php?route=product/product*&manufacturer_id= 

Disallow: /index.php?route=product/search 

Disallow: /index.php?route=information/contact/captcha 

Disallow: /index.php?route=information/information&information_id= 

Disallow: /index.php?route=account/login 

Disallow: /*route=account/ 

Disallow: /*route=account/login 

Disallow: /*route=checkout/ 

Disallow: /*route=checkout/cart 

Disallow: /*route=affiliate/ 

Disallow: /*route=product/search 

Disallow: /*?sort= 

Disallow: /*?sort 

Disallow: /*&sort= 

Disallow: /*?order= 

Disallow: /*?order 

Disallow: /*&order= 

Disallow: /*?limit= 

Disallow: /*&limit= 

Disallow: /*?filter_name= 

Disallow: /*&filter_name= 

Disallow: /*?filter_sub_category= 

Disallow: /*&filter_sub_category= 

Disallow: /*?filter_description= 

Disallow: /*&filter_description= 

Disallow: /*?tracking= 

Disallow: /*&tracking= 

Disallow: /*?manufacturer 

Disallow: /*?keyword

Надіслати
Поділитися на інших сайтах

Yarko1983 Rookie

Yarko1983

Опубліковано:
  • Автор
Опубліковано:

Спасибо PUNO, подсказал (надо было в robots.txt. удалить строку "Disallow: /index.php?route=information/information&information_id= " после чего проверил в гугле инструменты веб мастера ВСЕ ОК., спасибо PUNO

Надіслати
Поділитися на інших сайтах

  • 8 months later...
Amfit97 Newbie

Amfit97

Опубліковано:
Опубліковано:

помогите пожалуйста у меня такая же проблема

Предупреждения
Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
5
-
29 авг. 2014 г.
-
29 авг. 2014 г.
-
29 авг. 2014 г.


вот роботс мой

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Sitemap: http://crowley.pp.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: crowley.pp.ru

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Надіслати
Поділитися на інших сайтах

  • 2 weeks later...
vladvik Newbie

vladvik

Опубліковано:
Опубліковано:

Доброго времени суток уважаемые.

Проблемка таже с robots . Гугл выдает "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt." 74 ошибки

магаз на OpenCart 1.5.5.1

 

Странно яндекс проиндексировал без проблем,но частично. Категории и все. Где ошибка?

 

User-agent: * 

Disallow: /admin 
Disallow: /cache 
Disallow: /niks 
Disallow: /catalog 
Disallow: /download 
Disallow: /export 
Disallow: /system 
Disallow: /index.php?route=account 
Disallow: /index.php?route=account/account 
Disallow: /index.php?route=checkout/cart 
Disallow: /index.php?route=checkout/shipping 
Disallow: /index.php?route=common/home 
Disallow: /index.php?route=product/product/captcha 
Disallow: /index.php?route=product/product*&manufacturer_id= 
Disallow: /index.php?route=product/search 
Disallow: /index.php?route=information/contact/captcha  
Disallow: /index.php?route=account/login 
Disallow: /*route=account/ 
Disallow: /*route=account/login 
Disallow: /*route=checkout/ 
Disallow: /*route=checkout/cart 
Disallow: /*route=affiliate/ 
Disallow: /*route=product/search 
Disallow: /*?sort= 
Disallow: /*?sort 
Disallow: /*&sort= 
Disallow: /*?order= 
Disallow: /*?order 
Disallow: /*&order= 
Disallow: /*?limit= 
Disallow: /*&limit= 
Disallow: /*?filter_name= 
Disallow: /*&filter_name= 
Disallow: /*?filter_sub_category= 
Disallow: /*&filter_sub_category= 
Disallow: /*?filter_description= 
Disallow: /*&filter_description= 
Disallow: /*?tracking= 
Disallow: /*&tracking= 
Disallow: /*?manufacturer 
Disallow: /*?keyword
Надіслати
Поділитися на інших сайтах

snastik Grand Master

snastik

Опубліковано:
Опубліковано:

 

Доброго времени суток уважаемые.

Проблемка таже с robots . Гугл выдает "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt." 74 ошибки

магаз на OpenCart 1.5.5.1

 

Странно яндекс проиндексировал без проблем,но частично. Категории и все. Где ошибка?

это вас нужно спросить где ошибка :-) нажмите на сайтмап там покажет ошибки ну и укажите ссылку на которую он ругается тогда вам смогут ответить в чем проблема

Надіслати
Поділитися на інших сайтах
1

  • 1 year later...
StarShop Rookie

StarShop

Опубліковано:
Опубліковано: (змінено)

Добрый день

У меня такая же проблема

Пишет что у меня 104 предупреждения и текст "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt"

Сведения об ошибках: ошибок: 0, предупреждений: 104.

Количество проблем: 104

Помогите пожалуйста сделать нормальный robots.txt

Ниже приведен мой вариант который сейчас размещен

Что в нем надо удалить еще?

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /cache
Disallow: /niks
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?currency=
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /&coolfilter*
Disallow: /?coolfilter*

User-agent: Yandex
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /&coolfilter*
Disallow: /?coolfilter*
Host: MYSITE
Sitemap: MYSITE/index.php?route=feed/google_sitemap
Змінено користувачем afwollis
Надіслати
Поділитися на інших сайтах

pantagruel964 Mentor

pantagruel964

Опубліковано:
Опубліковано:

Надо смотреть гуглвебмастерс. Но я еще раз спрошу по-другому - что вам надо от файла сайтмап? Который еще и составлен криво.

Все страницы уже проиндексированы, хотя я б вообще закрыл индексирование недоделанного сайта. Чувствую, следующая ваша тема будет называться "как достать страницы из соплей гугла".

В вашем случае, забейте на сайтмап, ПС и без вас просканирует 200-300 страниц за 2-3 дня. Но, если все-таки хочется поиграть с поисковыми системами в сайтмап, то для начала хотя бы составьте его правильно.

Надіслати
Поділитися на інших сайтах
1

klujkow Newbie

klujkow

Опубліковано:
Опубліковано:

Всем доброго времени суток! Я начинающий веб мастер и столкнулся с такой. Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. Всего добавлено 36 URL просканировано 20. Заблокированы 18. Что делать? Как правильно настроить?

Надіслати
Поділитися на інших сайтах

  • 3 weeks later...
ivanbrest Newbie

ivanbrest

Опубліковано:
Опубліковано:
Уважаемые ЗНАЮЩИЕ коллеги, помогите, ибо сил моих нет, а знаний не хватает:

инструмент вебмастера на GOOGLE (Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.)

отправлено на индексацию 1731 ссылки.  проблем 390 ссылок, которые мне очень нужны. 

 

Вот robots.txt., в чем может быть проблема??? ПОМОГИТЕ 


 


User-agent: *

 

Disallow: /*route=account/

 

Disallow: /*route=affiliate/

 

Disallow: /*route=checkout/

 

Disallow: /*route=product/search

 

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /admin

 

Disallow: /catalog

 

Disallow: /system

 

Disallow: /*?sort=

 

Disallow: /*&sort=

 

Disallow: /*?order=

 

Disallow: /*&order=

 

Disallow: /*?limit=

 

Disallow: /*&limit=

 

Disallow: /*?filter_name=

 

Disallow: /*&filter_name=

 

Disallow: /*?filter_sub_category=

 

Disallow: /*&filter_sub_category=

 

Disallow: /*?filter_description=

 

Disallow: /*&filter_description=

 

Disallow: /*?tracking=

 

Disallow: /*&tracking=

 

Disallow: /*compare-products

 

Disallow: /*search

 

Disallow: /*cart

 

Disallow: /*checkout

 

Disallow: /*login

 

Disallow: /*logout

 

Disallow: /*vouchers

 

Disallow: /*wishlist

 

Disallow: /*my-account

 

Disallow: /*order-history

 

Disallow: /*newsletter

 

Disallow: /*return-add

 

Disallow: /*forgot-password

 

Disallow: /*downloads

 

Disallow: /*returns

 

Disallow: /*transactions

 

Disallow: /*create-account

 

Disallow: /*recurring

 

Disallow: /*address-book

 

Disallow: /*reward-points

 

Disallow: /*affiliate-forgot-password

 

Disallow: /*create-affiliate-account

 

Disallow: /*affiliate-login

 

Disallow: /*affiliates

 

 

 

User-agent: Yandex

Disallow: /*route=account/

 

Disallow: /*route=affiliate/

 

Disallow: /*route=checkout/

 

Disallow: /*route=product/search

 

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /admin

 

Disallow: /catalog

 

Disallow: /system

 

Disallow: /*?sort=

 

Disallow: /*&sort=

 

Disallow: /*?order=

 

Disallow: /*&order=

 

Disallow: /*?limit=

 

Disallow: /*&limit=

 

Disallow: /*?filter_name=

 

Disallow: /*&filter_name=

 

Disallow: /*?filter_sub_category=

 

Disallow: /*&filter_sub_category=

 

Disallow: /*?filter_description=

 

Disallow: /*&filter_description=

 

Disallow: /*?tracking=

 

Disallow: /*&tracking=

 

Disallow: /*compare-products

 

Disallow: /*search

 

Disallow: /*cart

 

Disallow: /*checkout

 

Disallow: /*login

 

Disallow: /*logout

 

Disallow: /*vouchers

 

Disallow: /*wishlist

 

Disallow: /*my-account

 

Disallow: /*order-history

 

Disallow: /*newsletter

 

Disallow: /*return-add

 

Disallow: /*forgot-password

 

Disallow: /*downloads

 

Disallow: /*returns

 

Disallow: /*transactions

 

Disallow: /*create-account

 

Disallow: /*recurring

 

Disallow: /*address-book

 

Disallow: /*reward-points

 

Disallow: /*affiliate-forgot-password

 

Disallow: /*create-affiliate-account

 

Disallow: /*affiliate-login

 

Disallow: /*affiliates

 

 

 

Allow: /


Host: easyshop.by




 


Очень нужна помощь... 

Надіслати
Поділитися на інших сайтах

  • 1 year later...
guf Newbie

guf

Опубліковано:
Опубліковано:

помогите пожалуйста гугл ругается 

Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
4
-
14 февр. 2017 г.
-
14 февр. 2017 г.
-
14 февр. 2017 г.
Надіслати
Поділитися на інших сайтах

guf Newbie

guf

Опубліковано:
Опубліковано:

User-agent: *    #К какому роботу обращаемся (по умолчанию ко всем)
Allow: /index.php?option=com_xmap&sitemap=1&view=xml      #разрешает доступ к карте сайта
Disallow: /administrator/    #Закрываем доступ к админке  
Disallow: /cache/            #Закрываем доступ к кеш
Disallow: /components/        #Закрываем доступ к компонентам
Disallow: /includes/    #    #Не помню
Disallow: /language/    #    #Языки
Disallow: /libraries/    #    #Закрываем библиотеки
Disallow: /logs/    #    #    #Закрываем логи
Disallow: /media/    #    #    #Закрываем медиа
Disallow: /modules/    #    #Закрываем модули
Disallow: /plugins/    #    #Плагины
Disallow: /templates/    #    #Папка с шаблонами
Disallow: /tmp/    #    #    #Не помню
Disallow: /xmlrpc/    #    #    #Не помню
Disallow: /*com_mailto    #Форма отправки писем
Disallow: /*pop=    #    #Всплывающие окна
Disallow: /*lang=ru    #    #Не помню
Disallow: /*format=    #    #Не помню
Disallow: /*print=    #    #Ссылка вывода на печать
Disallow: /*task=vote    #    #Голосования
Disallow: /*=watermark    #Идиотская ссылка на водяные знаки
Disallow: /*=download    #    #Ссылки на скачивание
Disallow: /*user/    #    #Не помню
Disallow: /404    #    #    #Закрываем 404 ошибку
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?    #    #    #все ссылки которые содержат этот знак не индексируются !
Disallow: /*%    #    #    #все ссылки которые содержат этот знак не индексируются !
Disallow: /*&     #    #    #все ссылки которые содержат этот знак не индексируются !
Disallow: /index2.php     #    #Закрываем дубли
Disallow: /index.php     #    #Закрываем дубли
Disallow: /*tag    #    #    #Закрываем облака тегов
Disallow: /*.pdf    #    #    #Закрываем pdf файлы. По вашему усмотрению
Disallow: /*.swf    #    #    #Закрываем Flash. По вашему усмотрению
Disallow: /*print=1    #    #Закрываем ссылку на печать
Disallow: /*=atom    #    #Закрывает RSS
Disallow: /*=rss    #    #    #Закрывает RSS
Host: site.ru    #    #    #Прописываем ваш сайт
 
Sitemap: http://www.стройка-тверь.рф/sitemap.xml  ### укажите адрес своей карты сайта

 

вот фаил роботс

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
 Share
Перейти до списку тем

Покупцям

Розробникам

Корисна інформація

Останні розширення

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.

  Я даю згоду