Yarko1983

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

Рекомендуемые сообщения

Yarko1983    0
Такое сообщение выдает в инструментах веб мастера.  GOOGLE (Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.)

отправлено на индексацию 782 ссылки.  проблем 239 ссылок

 

Вот robots.txt., в чем может быть проблема, первый раз работаю с опенкартом, до этого была джумла такого ни разу не было!

 

ПОМОГИТЕ РАЗОБРАТЬСЯ  

 

User-agent: * 

Disallow: /admin 

Disallow: /cache 

Disallow: /niks 

Disallow: /catalog 

Disallow: /download 

Disallow: /export 

Disallow: /system 

Disallow: /index.php?route=account 

Disallow: /index.php?route=account/account 

Disallow: /index.php?route=checkout/cart 

Disallow: /index.php?route=checkout/shipping 

Disallow: /index.php?route=common/home 

Disallow: /index.php?route=product/product/captcha 

Disallow: /index.php?route=product/product*&manufacturer_id= 

Disallow: /index.php?route=product/search 

Disallow: /index.php?route=information/contact/captcha 

Disallow: /index.php?route=information/information&information_id= 

Disallow: /index.php?route=account/login 

Disallow: /*route=account/ 

Disallow: /*route=account/login 

Disallow: /*route=checkout/ 

Disallow: /*route=checkout/cart 

Disallow: /*route=affiliate/ 

Disallow: /*route=product/search 

Disallow: /*?sort= 

Disallow: /*?sort 

Disallow: /*&sort= 

Disallow: /*?order= 

Disallow: /*?order 

Disallow: /*&order= 

Disallow: /*?limit= 

Disallow: /*&limit= 

Disallow: /*?filter_name= 

Disallow: /*&filter_name= 

Disallow: /*?filter_sub_category= 

Disallow: /*&filter_sub_category= 

Disallow: /*?filter_description= 

Disallow: /*&filter_description= 

Disallow: /*?tracking= 

Disallow: /*&tracking= 

Disallow: /*?manufacturer 

Disallow: /*?keyword

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
puno    35

SEO URL работает?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Yarko1983    0

SEO URL работает?

В смысле, можете объяснить :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
puno    35

Можно ссылку на сайт?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Yarko1983    0

Можно ссылку на сайт?

Ссылку Вам скинул в ЛС

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
puno    35

Ответил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Yarko1983    0

Спасибо PUNO, подсказал (надо было в robots.txt. удалить строку "Disallow: /index.php?route=information/information&information_id= " после чего проверил в гугле инструменты веб мастера ВСЕ ОК., спасибо PUNO

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Amfit97    0

помогите пожалуйста у меня такая же проблема

Предупреждения
Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
5
-
29 авг. 2014 г.
-
29 авг. 2014 г.
-
29 авг. 2014 г.


вот роботс мой

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Sitemap: http://crowley.pp.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: crowley.pp.ru

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
chukcha    933

прикольно, а причем здесь wordpress?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
fijneman    4

По моему это просто реклама бложика.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vladvik    0

Доброго времени суток уважаемые.

Проблемка таже с robots . Гугл выдает "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt." 74 ошибки

магаз на OpenCart 1.5.5.1

 

Странно яндекс проиндексировал без проблем,но частично. Категории и все. Где ошибка?

 

User-agent: * 

Disallow: /admin 
Disallow: /cache 
Disallow: /niks 
Disallow: /catalog 
Disallow: /download 
Disallow: /export 
Disallow: /system 
Disallow: /index.php?route=account 
Disallow: /index.php?route=account/account 
Disallow: /index.php?route=checkout/cart 
Disallow: /index.php?route=checkout/shipping 
Disallow: /index.php?route=common/home 
Disallow: /index.php?route=product/product/captcha 
Disallow: /index.php?route=product/product*&manufacturer_id= 
Disallow: /index.php?route=product/search 
Disallow: /index.php?route=information/contact/captcha  
Disallow: /index.php?route=account/login 
Disallow: /*route=account/ 
Disallow: /*route=account/login 
Disallow: /*route=checkout/ 
Disallow: /*route=checkout/cart 
Disallow: /*route=affiliate/ 
Disallow: /*route=product/search 
Disallow: /*?sort= 
Disallow: /*?sort 
Disallow: /*&sort= 
Disallow: /*?order= 
Disallow: /*?order 
Disallow: /*&order= 
Disallow: /*?limit= 
Disallow: /*&limit= 
Disallow: /*?filter_name= 
Disallow: /*&filter_name= 
Disallow: /*?filter_sub_category= 
Disallow: /*&filter_sub_category= 
Disallow: /*?filter_description= 
Disallow: /*&filter_description= 
Disallow: /*?tracking= 
Disallow: /*&tracking= 
Disallow: /*?manufacturer 
Disallow: /*?keyword

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
snastik    824

 

Доброго времени суток уважаемые.

Проблемка таже с robots . Гугл выдает "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt." 74 ошибки

магаз на OpenCart 1.5.5.1

 

Странно яндекс проиндексировал без проблем,но частично. Категории и все. Где ошибка?

это вас нужно спросить где ошибка :-) нажмите на сайтмап там покажет ошибки ну и укажите ссылку на которую он ругается тогда вам смогут ответить в чем проблема

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
StarShop    0

Добрый день

У меня такая же проблема

Пишет что у меня 104 предупреждения и текст "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt"

Сведения об ошибках: ошибок: 0, предупреждений: 104.

Количество проблем: 104

Помогите пожалуйста сделать нормальный robots.txt

Ниже приведен мой вариант который сейчас размещен

Что в нем надо удалить еще?

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /cache
Disallow: /niks
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?currency=
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /&coolfilter*
Disallow: /?coolfilter*

User-agent: Yandex
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /&coolfilter*
Disallow: /?coolfilter*
Host: MYSITE
Sitemap: MYSITE/index.php?route=feed/google_sitemap
Изменено пользователем afwollis

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Otvet    405

Сам сайтмап где ?

Как должны понимать если не даете список заблокированного

Отправлено с моего X17 через Tapatalk

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pantagruel964    219

У вас 200 страниц на сайте, которые уже проиндексированы.. что вы ждете от карты сайта?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pantagruel964    219

Надо смотреть гуглвебмастерс. Но я еще раз спрошу по-другому - что вам надо от файла сайтмап? Который еще и составлен криво.

Все страницы уже проиндексированы, хотя я б вообще закрыл индексирование недоделанного сайта. Чувствую, следующая ваша тема будет называться "как достать страницы из соплей гугла".

В вашем случае, забейте на сайтмап, ПС и без вас просканирует 200-300 страниц за 2-3 дня. Но, если все-таки хочется поиграть с поисковыми системами в сайтмап, то для начала хотя бы составьте его правильно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
klujkow    0

Всем доброго времени суток! Я начинающий веб мастер и столкнулся с такой. Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt. Всего добавлено 36 URL просканировано 20. Заблокированы 18. Что делать? Как правильно настроить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ivanbrest    0
Уважаемые ЗНАЮЩИЕ коллеги, помогите, ибо сил моих нет, а знаний не хватает:

инструмент вебмастера на GOOGLE (Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.)

отправлено на индексацию 1731 ссылки.  проблем 390 ссылок, которые мне очень нужны. 

 

Вот robots.txt., в чем может быть проблема??? ПОМОГИТЕ 


 


User-agent: *

 

Disallow: /*route=account/

 

Disallow: /*route=affiliate/

 

Disallow: /*route=checkout/

 

Disallow: /*route=product/search

 

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /admin

 

Disallow: /catalog

 

Disallow: /system

 

Disallow: /*?sort=

 

Disallow: /*&sort=

 

Disallow: /*?order=

 

Disallow: /*&order=

 

Disallow: /*?limit=

 

Disallow: /*&limit=

 

Disallow: /*?filter_name=

 

Disallow: /*&filter_name=

 

Disallow: /*?filter_sub_category=

 

Disallow: /*&filter_sub_category=

 

Disallow: /*?filter_description=

 

Disallow: /*&filter_description=

 

Disallow: /*?tracking=

 

Disallow: /*&tracking=

 

Disallow: /*compare-products

 

Disallow: /*search

 

Disallow: /*cart

 

Disallow: /*checkout

 

Disallow: /*login

 

Disallow: /*logout

 

Disallow: /*vouchers

 

Disallow: /*wishlist

 

Disallow: /*my-account

 

Disallow: /*order-history

 

Disallow: /*newsletter

 

Disallow: /*return-add

 

Disallow: /*forgot-password

 

Disallow: /*downloads

 

Disallow: /*returns

 

Disallow: /*transactions

 

Disallow: /*create-account

 

Disallow: /*recurring

 

Disallow: /*address-book

 

Disallow: /*reward-points

 

Disallow: /*affiliate-forgot-password

 

Disallow: /*create-affiliate-account

 

Disallow: /*affiliate-login

 

Disallow: /*affiliates

 

 

 

User-agent: Yandex

Disallow: /*route=account/

 

Disallow: /*route=affiliate/

 

Disallow: /*route=checkout/

 

Disallow: /*route=product/search

 

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /admin

 

Disallow: /catalog

 

Disallow: /system

 

Disallow: /*?sort=

 

Disallow: /*&sort=

 

Disallow: /*?order=

 

Disallow: /*&order=

 

Disallow: /*?limit=

 

Disallow: /*&limit=

 

Disallow: /*?filter_name=

 

Disallow: /*&filter_name=

 

Disallow: /*?filter_sub_category=

 

Disallow: /*&filter_sub_category=

 

Disallow: /*?filter_description=

 

Disallow: /*&filter_description=

 

Disallow: /*?tracking=

 

Disallow: /*&tracking=

 

Disallow: /*compare-products

 

Disallow: /*search

 

Disallow: /*cart

 

Disallow: /*checkout

 

Disallow: /*login

 

Disallow: /*logout

 

Disallow: /*vouchers

 

Disallow: /*wishlist

 

Disallow: /*my-account

 

Disallow: /*order-history

 

Disallow: /*newsletter

 

Disallow: /*return-add

 

Disallow: /*forgot-password

 

Disallow: /*downloads

 

Disallow: /*returns

 

Disallow: /*transactions

 

Disallow: /*create-account

 

Disallow: /*recurring

 

Disallow: /*address-book

 

Disallow: /*reward-points

 

Disallow: /*affiliate-forgot-password

 

Disallow: /*create-affiliate-account

 

Disallow: /*affiliate-login

 

Disallow: /*affiliates

 

 

 

Allow: /


Host: easyshop.by




 


Очень нужна помощь... 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
guf    0

помогите пожалуйста гугл ругается 

Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
4
-
14 февр. 2017 г.
-
14 февр. 2017 г.
-
14 февр. 2017 г.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
guf    0

User-agent: *    #К какому роботу обращаемся (по умолчанию ко всем)
Allow: /index.php?option=com_xmap&sitemap=1&view=xml      #разрешает доступ к карте сайта
Disallow: /administrator/    #Закрываем доступ к админке  
Disallow: /cache/            #Закрываем доступ к кеш
Disallow: /components/        #Закрываем доступ к компонентам
Disallow: /includes/    #    #Не помню
Disallow: /language/    #    #Языки
Disallow: /libraries/    #    #Закрываем библиотеки
Disallow: /logs/    #    #    #Закрываем логи
Disallow: /media/    #    #    #Закрываем медиа
Disallow: /modules/    #    #Закрываем модули
Disallow: /plugins/    #    #Плагины
Disallow: /templates/    #    #Папка с шаблонами
Disallow: /tmp/    #    #    #Не помню
Disallow: /xmlrpc/    #    #    #Не помню
Disallow: /*com_mailto    #Форма отправки писем
Disallow: /*pop=    #    #Всплывающие окна
Disallow: /*lang=ru    #    #Не помню
Disallow: /*format=    #    #Не помню
Disallow: /*print=    #    #Ссылка вывода на печать
Disallow: /*task=vote    #    #Голосования
Disallow: /*=watermark    #Идиотская ссылка на водяные знаки
Disallow: /*=download    #    #Ссылки на скачивание
Disallow: /*user/    #    #Не помню
Disallow: /404    #    #    #Закрываем 404 ошибку
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?    #    #    #все ссылки которые содержат этот знак не индексируются !
Disallow: /*%    #    #    #все ссылки которые содержат этот знак не индексируются !
Disallow: /*&     #    #    #все ссылки которые содержат этот знак не индексируются !
Disallow: /index2.php     #    #Закрываем дубли
Disallow: /index.php     #    #Закрываем дубли
Disallow: /*tag    #    #    #Закрываем облака тегов
Disallow: /*.pdf    #    #    #Закрываем pdf файлы. По вашему усмотрению
Disallow: /*.swf    #    #    #Закрываем Flash. По вашему усмотрению
Disallow: /*print=1    #    #Закрываем ссылку на печать
Disallow: /*=atom    #    #Закрывает RSS
Disallow: /*=rss    #    #    #Закрывает RSS
Host: site.ru    #    #    #Прописываем ваш сайт
 
Sitemap: http://www.стройка-тверь.рф/sitemap.xml  ### укажите адрес своей карты сайта

 

вот фаил роботс

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Похожий контент

    • От muha777
      Здравствуйте Друзя!
      Нужна помощь в настройке robots и  sitemap.
       Готов оплатить .
      В админке есть такое поле 
      что это значит и нужно ли что то тут менять 
      http://prntscr.com/gudouc
       
       
      файл robots в таком виде
       
      User-agent: *
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Disallow: /*?tracking=
      Disallow: /*&tracking=
      User-agent: Yandex
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Clean-param: tracking
    • От ternol82
      Возникла ошибка в SearchCOnsole. Opencart v.3.0.2.0.  Фото прилагаются. Сторонних модулей на сайтмап не ставил.

      Родительский тег image, тег loc. 


    • От icesky444
      Помогите пожалуйста разобраться.
      На сайте не с того не с сего начал sitemap.xml дублировать каждую страницу!
      Как исправить данную ошибку? куда копать?
      Сайт ugtehagro.net/sitemap.xml
    • От litehill
      Всем привет!
      Столкнулся с такой проблемой, наверняка у кого-то уже было что-то подобное но увы я не смог найти подобных тем на форуме, поэтому сразу сори за дабл пост!
      И так, у меня простой сайт на опенкарте версия 2.3, заметил невесёлый прикол что сайтмап.хмл очень долго грузит
      Иногда больше 30 секунд и выдаёт ошибку, поисковые системы не очень положительно к этому относятся. Пользуюсь стандартным сайтмап, который был установлен в движке изначально. Кто знает как бороться, подскажите!?
      За ранее спасибо!)
    • От asimakow
      Всем привет. Столкнулся с проблемой, заполнил свой магазин, решил добавлять в индексацию, начал с файла sitemap, но яндекс и гугл не хочет его принимать, также не открывается страница по ссылке. Как я понял, связано это с большим размером его (скорее всего). Кто-то сталкивался с таким? Нужна помощь
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу