Заблокированные ресурсы Google webmaster tools

[ioniamichael]

Ребята , что значит Заблокированные ресурсы в google webmaster tools?

инфу не нашел. кто сталкивался и как с этим бороться ?

 

[ioniamichael]

я так понимаю , вот эти файлы у меня заблокированы в robot.txt?

версия ocstore 2101

[pantagruel964]

robots.txt

открывай стили и скрипты

[ioniamichael]

а можно по подробнее ?
вот мой файл robot.txt

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

 

что именно и как менять? я не силён в этом.

Змінено 15 грудня 2015 користувачем ioniamichael

[ioniamichael]

если я правильно понимаю, нужно вот это строку

User-agent: *

Disallow: /catalog

 

 

 

заменить на эту ?

User-agent: *

allow: /catalog

 

или не так это делается ?

[pantagruel964]

Все открывать не надо

 

Сперва запретить директорию со всем содержимым

Disallow: /catalog

Потом добавить исключение

Allow: /catalog/view/theme/default/stylesheet/

Allow: /catalog/view/javascript

[ioniamichael]

значет в конце User-agent: * добавить эти 2 строки и всё да?

Allow: /catalog/view/theme/default/stylesheet/

Allow: /catalog/view/javascript

 

птому что Disallow: /catalog и так уже запрещено нет?

 

или исключения по другому добавляются?

Змінено 15 грудня 2015 користувачем ioniamichael

[pantagruel964]

Для каждого юзер-агента. Робот читает сверху вниз. Если где-то что-то запретили, значит ниже нужно разрешить.

[ioniamichael]

спасибо большое . сделал так 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Allow: /catalog/view/theme/default/stylesheet/
Allow: /catalog/view/javascript

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Allow: /catalog/view/theme/default/stylesheet/
Allow: /catalog/view/javascript
Clean-param: tracking

[pantagruel964]

Ну. теперь смотрите гуглвебмастерс

[1Andrew1]

Добрый день,

 

Тоже сейчас разбираюсь с гуглвебмастером при проверке robots.txt

 пишет одну ошибку.

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /&coolfilter*
Disallow: /?coolfilter*

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /&coolfilter*
Disallow: /?coolfilter*
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: Мой_Домен.com
Sitemap: http://Мой_Домен.com/index.php?route=feed/google_sitemap

 

Ругается на - Clean-param: tracking

 

Что это, я пока мало разбираюсь не подскажите? Может ещё есть какие-то косяки в моём robots.txt ??

 

 

И ещё вопрос, ошибки сканирования URL это нормально? у меня он нашел три, две из которых это я сам сменил url. По третей не понятно, там длинная запись что-то с фильтром связано. 

[AnDeton]

Други, помогите у меня такая вот петрушка.  Что делать, куда тыкать, не понимаю. поиск мне отказался помогать. видать не там ищу. 

 

[ioniamichael]

кликни на ссылку и он покажет все заблокированные ресурсы

[inspired]

Присоединяюсь к теме, в robots:

...

Disallow: /catalog
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/default/image/
Allow: /catalog/view/theme/default/stylesheet/
Allow: /catalog/view/javascript/jquery

...

 

но на протяжении месяца, 250 ресурсов, по прежнему заблокированы.( heed halp..

[AnDeton]

В общем. клацал google webmaster tools, в разделе просмотреть как гугл бот. разблокировал несколько катологов. Количество заблокированных ресурсов пошло на спад. 

[dreemix]

Похоже, что именно из-за того, что были заблокированы стили, у меня все позиции улетели за -100. Решение есть тут.

[Velobikes]

Вот полный robots.txt должно помочь в решении проблемы

 

User-agent: *

 

Disallow: /*filter
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?minprice
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /catalog/view/theme/ВАША ТЕМА (если не стандарт)/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

[florapraktik]

10 часов назад, Velobikes сказал:

Вот полный robots.txt должно помочь в решении проблемы

 

User-agent: *

 

Disallow: /*filter
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?minprice
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /catalog/view/theme/ВАША ТЕМА (если не стандарт)/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

Чиста любопытна. Если есть

Allow: /*.js

то зачем ещё и 

Allow: /catalog/view/javascript/*/

а потом ещё и

Allow: /catalog/view/javascript/*.js*

а потом

Allow: /catalog/view/javascript/jquery/*

И как апогей апофеоза:

Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

 

ПС Вы точно понимаете, что написано в этом файле, зачем и почему именно так?

[Velobikes]

4 часа назад, florapraktik сказал:

Чиста любопытна. Если есть

Allow: /*.js

то зачем ещё и 

Allow: /catalog/view/javascript/*/

а потом ещё и

Allow: /catalog/view/javascript/*.js*

а потом

Allow: /catalog/view/javascript/jquery/*

И как апогей апофеоза:

Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

 

ПС Вы точно понимаете, что написано в этом файле, зачем и почему именно так?

 

На практике сталкивался, что приходилось "доходчиво" объяснять роботу что открыт доступ к ресурсам, в частности в Google, после данной конструкции проблема была решена...

 

Вот собственно почему...

 

То что дублируется знаю и вижу...