Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.


Рекомендованные сообщения

Такое сообщение выдает в инструментах веб мастера.  GOOGLE (Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.)

отправлено на индексацию 782 ссылки.  проблем 239 ссылок

 

Вот robots.txt., в чем может быть проблема, первый раз работаю с опенкартом, до этого была джумла такого ни разу не было!

 

ПОМОГИТЕ РАЗОБРАТЬСЯ  

 

User-agent: * 

Disallow: /admin 

Disallow: /cache 

Disallow: /niks 

Disallow: /catalog 

Disallow: /download 

Disallow: /export 

Disallow: /system 

Disallow: /index.php?route=account 

Disallow: /index.php?route=account/account 

Disallow: /index.php?route=checkout/cart 

Disallow: /index.php?route=checkout/shipping 

Disallow: /index.php?route=common/home 

Disallow: /index.php?route=product/product/captcha 

Disallow: /index.php?route=product/product*&manufacturer_id= 

Disallow: /index.php?route=product/search 

Disallow: /index.php?route=information/contact/captcha 

Disallow: /index.php?route=information/information&information_id= 

Disallow: /index.php?route=account/login 

Disallow: /*route=account/ 

Disallow: /*route=account/login 

Disallow: /*route=checkout/ 

Disallow: /*route=checkout/cart 

Disallow: /*route=affiliate/ 

Disallow: /*route=product/search 

Disallow: /*?sort= 

Disallow: /*?sort 

Disallow: /*&sort= 

Disallow: /*?order= 

Disallow: /*?order 

Disallow: /*&order= 

Disallow: /*?limit= 

Disallow: /*&limit= 

Disallow: /*?filter_name= 

Disallow: /*&filter_name= 

Disallow: /*?filter_sub_category= 

Disallow: /*&filter_sub_category= 

Disallow: /*?filter_description= 

Disallow: /*&filter_description= 

Disallow: /*?tracking= 

Disallow: /*&tracking= 

Disallow: /*?manufacturer 

Disallow: /*?keyword

Ссылка на комментарий
Поделиться на других сайтах


Спасибо PUNO, подсказал (надо было в robots.txt. удалить строку "Disallow: /index.php?route=information/information&information_id= " после чего проверил в гугле инструменты веб мастера ВСЕ ОК., спасибо PUNO

Ссылка на комментарий
Поделиться на других сайтах


  • 8 месяцев спустя...

помогите пожалуйста у меня такая же проблема

Предупреждения
Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
5
-
29 авг. 2014 г.
-
29 авг. 2014 г.
-
29 авг. 2014 г.


вот роботс мой

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Sitemap: http://crowley.pp.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: crowley.pp.ru

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Ссылка на комментарий
Поделиться на других сайтах


  • 2 недели спустя...

Доброго времени суток уважаемые.

Проблемка таже с robots . Гугл выдает "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt." 74 ошибки

магаз на OpenCart 1.5.5.1

 

Странно яндекс проиндексировал без проблем,но частично. Категории и все. Где ошибка?

 

User-agent: * 

Disallow: /admin 
Disallow: /cache 
Disallow: /niks 
Disallow: /catalog 
Disallow: /download 
Disallow: /export 
Disallow: /system 
Disallow: /index.php?route=account 
Disallow: /index.php?route=account/account 
Disallow: /index.php?route=checkout/cart 
Disallow: /index.php?route=checkout/shipping 
Disallow: /index.php?route=common/home 
Disallow: /index.php?route=product/product/captcha 
Disallow: /index.php?route=product/product*&manufacturer_id= 
Disallow: /index.php?route=product/search 
Disallow: /index.php?route=information/contact/captcha  
Disallow: /index.php?route=account/login 
Disallow: /*route=account/ 
Disallow: /*route=account/login 
Disallow: /*route=checkout/ 
Disallow: /*route=checkout/cart 
Disallow: /*route=affiliate/ 
Disallow: /*route=product/search 
Disallow: /*?sort= 
Disallow: /*?sort 
Disallow: /*&sort= 
Disallow: /*?order= 
Disallow: /*?order 
Disallow: /*&order= 
Disallow: /*?limit= 
Disallow: /*&limit= 
Disallow: /*?filter_name= 
Disallow: /*&filter_name= 
Disallow: /*?filter_sub_category= 
Disallow: /*&filter_sub_category= 
Disallow: /*?filter_description= 
Disallow: /*&filter_description= 
Disallow: /*?tracking= 
Disallow: /*&tracking= 
Disallow: /*?manufacturer 
Disallow: /*?keyword
Ссылка на комментарий
Поделиться на других сайтах


 

Доброго времени суток уважаемые.

Проблемка таже с robots . Гугл выдает "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt." 74 ошибки

магаз на OpenCart 1.5.5.1

 

Странно яндекс проиндексировал без проблем,но частично. Категории и все. Где ошибка?

это вас нужно спросить где ошибка :-) нажмите на сайтмап там покажет ошибки ну и укажите ссылку на которую он ругается тогда вам смогут ответить в чем проблема

Ссылка на комментарий
Поделиться на других сайтах

  • 1 год спустя...

Добрый день

У меня такая же проблема

Пишет что у меня 104 предупреждения и текст "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt"

Сведения об ошибках: ошибок: 0, предупреждений: 104.

Количество проблем: 104

Помогите пожалуйста сделать нормальный robots.txt

Ниже приведен мой вариант который сейчас размещен

Что в нем надо удалить еще?

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /cache
Disallow: /niks
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?currency=
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /&coolfilter*
Disallow: /?coolfilter*

User-agent: Yandex
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /&coolfilter*
Disallow: /?coolfilter*
Host: MYSITE
Sitemap: MYSITE/index.php?route=feed/google_sitemap
Изменено пользователем afwollis
Ссылка на комментарий
Поделиться на других сайтах


Сам сайтмап где ?

Как должны понимать если не даете список заблокированного

Отправлено с моего X17 через Tapatalk

Ссылка на комментарий
Поделиться на других сайтах

У вас 200 страниц на сайте, которые уже проиндексированы.. что вы ждете от карты сайта?

Ссылка на комментарий
Поделиться на других сайтах

хочу чтобы при вставке ссылки на карту сайта - не писало мне:

http://prntscr.com/9cnycf

http://prntscr.com/9cnyoz

Ссылка на комментарий
Поделиться на других сайтах


Надо смотреть гуглвебмастерс. Но я еще раз спрошу по-другому - что вам надо от файла сайтмап? Который еще и составлен криво.

Все страницы уже проиндексированы, хотя я б вообще закрыл индексирование недоделанного сайта. Чувствую, следующая ваша тема будет называться "как достать страницы из соплей гугла".

В вашем случае, забейте на сайтмап, ПС и без вас просканирует 200-300 страниц за 2-3 дня. Но, если все-таки хочется поиграть с поисковыми системами в сайтмап, то для начала хотя бы составьте его правильно.

Ссылка на комментарий
Поделиться на других сайтах

Всем доброго времени суток! Я начинающий веб мастер и столкнулся с такой. Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. Всего добавлено 36 URL просканировано 20. Заблокированы 18. Что делать? Как правильно настроить?

Ссылка на комментарий
Поделиться на других сайтах


  • 3 недели спустя...
Уважаемые ЗНАЮЩИЕ коллеги, помогите, ибо сил моих нет, а знаний не хватает:

инструмент вебмастера на GOOGLE (Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.)

отправлено на индексацию 1731 ссылки.  проблем 390 ссылок, которые мне очень нужны. 

 

Вот robots.txt., в чем может быть проблема??? ПОМОГИТЕ 


 


User-agent: *

 

Disallow: /*route=account/

 

Disallow: /*route=affiliate/

 

Disallow: /*route=checkout/

 

Disallow: /*route=product/search

 

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /admin

 

Disallow: /catalog

 

Disallow: /system

 

Disallow: /*?sort=

 

Disallow: /*&sort=

 

Disallow: /*?order=

 

Disallow: /*&order=

 

Disallow: /*?limit=

 

Disallow: /*&limit=

 

Disallow: /*?filter_name=

 

Disallow: /*&filter_name=

 

Disallow: /*?filter_sub_category=

 

Disallow: /*&filter_sub_category=

 

Disallow: /*?filter_description=

 

Disallow: /*&filter_description=

 

Disallow: /*?tracking=

 

Disallow: /*&tracking=

 

Disallow: /*compare-products

 

Disallow: /*search

 

Disallow: /*cart

 

Disallow: /*checkout

 

Disallow: /*login

 

Disallow: /*logout

 

Disallow: /*vouchers

 

Disallow: /*wishlist

 

Disallow: /*my-account

 

Disallow: /*order-history

 

Disallow: /*newsletter

 

Disallow: /*return-add

 

Disallow: /*forgot-password

 

Disallow: /*downloads

 

Disallow: /*returns

 

Disallow: /*transactions

 

Disallow: /*create-account

 

Disallow: /*recurring

 

Disallow: /*address-book

 

Disallow: /*reward-points

 

Disallow: /*affiliate-forgot-password

 

Disallow: /*create-affiliate-account

 

Disallow: /*affiliate-login

 

Disallow: /*affiliates

 

 

 

User-agent: Yandex

Disallow: /*route=account/

 

Disallow: /*route=affiliate/

 

Disallow: /*route=checkout/

 

Disallow: /*route=product/search

 

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /admin

 

Disallow: /catalog

 

Disallow: /system

 

Disallow: /*?sort=

 

Disallow: /*&sort=

 

Disallow: /*?order=

 

Disallow: /*&order=

 

Disallow: /*?limit=

 

Disallow: /*&limit=

 

Disallow: /*?filter_name=

 

Disallow: /*&filter_name=

 

Disallow: /*?filter_sub_category=

 

Disallow: /*&filter_sub_category=

 

Disallow: /*?filter_description=

 

Disallow: /*&filter_description=

 

Disallow: /*?tracking=

 

Disallow: /*&tracking=

 

Disallow: /*compare-products

 

Disallow: /*search

 

Disallow: /*cart

 

Disallow: /*checkout

 

Disallow: /*login

 

Disallow: /*logout

 

Disallow: /*vouchers

 

Disallow: /*wishlist

 

Disallow: /*my-account

 

Disallow: /*order-history

 

Disallow: /*newsletter

 

Disallow: /*return-add

 

Disallow: /*forgot-password

 

Disallow: /*downloads

 

Disallow: /*returns

 

Disallow: /*transactions

 

Disallow: /*create-account

 

Disallow: /*recurring

 

Disallow: /*address-book

 

Disallow: /*reward-points

 

Disallow: /*affiliate-forgot-password

 

Disallow: /*create-affiliate-account

 

Disallow: /*affiliate-login

 

Disallow: /*affiliates

 

 

 

Allow: /


Host: easyshop.by




 


Очень нужна помощь... 

Ссылка на комментарий
Поделиться на других сайтах


  • 1 год спустя...

помогите пожалуйста гугл ругается 

Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
4
-
14 февр. 2017 г.
-
14 февр. 2017 г.
-
14 февр. 2017 г.
Ссылка на комментарий
Поделиться на других сайтах


User-agent: *    #К какому роботу обращаемся (по умолчанию ко всем)
Allow: /index.php?option=com_xmap&sitemap=1&view=xml      #разрешает доступ к карте сайта
Disallow: /administrator/    #Закрываем доступ к админке  
Disallow: /cache/            #Закрываем доступ к кеш
Disallow: /components/        #Закрываем доступ к компонентам
Disallow: /includes/    #    #Не помню
Disallow: /language/    #    #Языки
Disallow: /libraries/    #    #Закрываем библиотеки
Disallow: /logs/    #    #    #Закрываем логи
Disallow: /media/    #    #    #Закрываем медиа
Disallow: /modules/    #    #Закрываем модули
Disallow: /plugins/    #    #Плагины
Disallow: /templates/    #    #Папка с шаблонами
Disallow: /tmp/    #    #    #Не помню
Disallow: /xmlrpc/    #    #    #Не помню
Disallow: /*com_mailto    #Форма отправки писем
Disallow: /*pop=    #    #Всплывающие окна
Disallow: /*lang=ru    #    #Не помню
Disallow: /*format=    #    #Не помню
Disallow: /*print=    #    #Ссылка вывода на печать
Disallow: /*task=vote    #    #Голосования
Disallow: /*=watermark    #Идиотская ссылка на водяные знаки
Disallow: /*=download    #    #Ссылки на скачивание
Disallow: /*user/    #    #Не помню
Disallow: /404    #    #    #Закрываем 404 ошибку
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?    #    #    #все ссылки которые содержат этот знак не индексируются !
Disallow: /*%    #    #    #все ссылки которые содержат этот знак не индексируются !
Disallow: /*&     #    #    #все ссылки которые содержат этот знак не индексируются !
Disallow: /index2.php     #    #Закрываем дубли
Disallow: /index.php     #    #Закрываем дубли
Disallow: /*tag    #    #    #Закрываем облака тегов
Disallow: /*.pdf    #    #    #Закрываем pdf файлы. По вашему усмотрению
Disallow: /*.swf    #    #    #Закрываем Flash. По вашему усмотрению
Disallow: /*print=1    #    #Закрываем ссылку на печать
Disallow: /*=atom    #    #Закрывает RSS
Disallow: /*=rss    #    #    #Закрывает RSS
Host: site.ru    #    #    #Прописываем ваш сайт
 
Sitemap: http://www.стройка-тверь.рф/sitemap.xml  ### укажите адрес своей карты сайта

 

вот фаил роботс

Ссылка на комментарий
Поделиться на других сайтах


15 часов назад, guf сказал:

 

вот фаил роботс

А ничё, что он для ждумлы?:-D

Изменено пользователем florapraktik
  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.