Jump to content
Sign in to follow this  
ioniamichael

Заблокированные ресурсы Google webmaster tools

Recommended Posts

Ребята , что значит Заблокированные ресурсы в google webmaster tools?

инфу не нашел. кто сталкивался и как с этим бороться ?

 

4fc5c89676bf.png

Share this post


Link to post
Share on other sites
я так понимаю , вот эти файлы у меня заблокированы в robot.txt?

версия ocstore 2101

b06b63dff35c.png

Share this post


Link to post
Share on other sites

а можно по подробнее ?
вот мой файл robot.txt

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

 

что именно и как менять? я не силён в этом.

Edited by ioniamichael

Share this post


Link to post
Share on other sites

если я правильно понимаю, нужно вот это строку

User-agent: *

Disallow: /catalog

 

 

 

заменить на эту ?

User-agent: *

allow: /catalog

 

или не так это делается ?

Share this post


Link to post
Share on other sites

Все открывать не надо

 

Сперва запретить директорию со всем содержимым

Disallow: /catalog

Потом добавить исключение

Allow: /catalog/view/theme/default/stylesheet/

Allow: /catalog/view/javascript

Share this post


Link to post
Share on other sites
значет в конце User-agent: * добавить эти 2 строки и всё да?


Allow: /catalog/view/theme/default/stylesheet/


Allow: /catalog/view/javascript



 

птому что Disallow: /catalog и так уже запрещено нет?

 

или исключения по другому добавляются?

Edited by ioniamichael

Share this post


Link to post
Share on other sites

Для каждого юзер-агента. Робот читает сверху вниз. Если где-то что-то запретили, значит ниже нужно разрешить.

Share this post


Link to post
Share on other sites

спасибо большое . сделал так 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Allow: /catalog/view/theme/default/stylesheet/
Allow: /catalog/view/javascript

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Allow: /catalog/view/theme/default/stylesheet/
Allow: /catalog/view/javascript
Clean-param: tracking

Share this post


Link to post
Share on other sites

Ну. теперь смотрите гуглвебмастерс

Share this post


Link to post
Share on other sites

Добрый день,

 

Тоже сейчас разбираюсь с гуглвебмастером при проверке robots.txt

 пишет одну ошибку.

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /&coolfilter*
Disallow: /?coolfilter*

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /&coolfilter*
Disallow: /?coolfilter*
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: Мой_Домен.com
Sitemap: http://Мой_Домен.com/index.php?route=feed/google_sitemap

 

Ругается на - Clean-param: tracking

 

Что это, я пока мало разбираюсь не подскажите? Может ещё есть какие-то косяки в моём robots.txt ??

 

 

И ещё вопрос, ошибки сканирования URL это нормально? у меня он нашел три, две из которых это я сам сменил url. По третей не понятно, там длинная запись что-то с фильтром связано. 

Share this post


Link to post
Share on other sites

Други, помогите у меня такая вот петрушка.  Что делать, куда тыкать, не понимаю. поиск мне отказался помогать. видать не там ищу. 

 

01ebf1e6ce90.jpg

Share this post


Link to post
Share on other sites

кликни на ссылку и он покажет все заблокированные ресурсы

Share this post


Link to post
Share on other sites

Присоединяюсь к теме, в robots:

...

Disallow: /catalog
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/default/image/
Allow: /catalog/view/theme/default/stylesheet/
Allow: /catalog/view/javascript/jquery

...

 

но на протяжении месяца, 250 ресурсов, по прежнему заблокированы.( heed halp..

Share this post


Link to post
Share on other sites

В общем. клацал google webmaster tools, в разделе просмотреть как гугл бот. разблокировал несколько катологов. Количество заблокированных ресурсов пошло на спад. 

Share this post


Link to post
Share on other sites

Похоже, что именно из-за того, что были заблокированы стили, у меня все позиции улетели за -100. Решение есть тут.

Share this post


Link to post
Share on other sites

Вот полный robots.txt должно помочь в решении проблемы

 

User-agent: *

 

Disallow: /*filter
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?minprice
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /catalog/view/theme/ВАША ТЕМА (если не стандарт)/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

Share this post


Link to post
Share on other sites
10 часов назад, Velobikes сказал:

Вот полный robots.txt должно помочь в решении проблемы

 

User-agent: *

 

Disallow: /*filter
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?minprice
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /catalog/view/theme/ВАША ТЕМА (если не стандарт)/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

Чиста любопытна. Если есть

Allow: /*.js

то зачем ещё и 

Allow: /catalog/view/javascript/*/

а потом ещё и

Allow: /catalog/view/javascript/*.js*

а потом

Allow: /catalog/view/javascript/jquery/*

И как апогей апофеоза:

Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

 

ПС Вы точно понимаете, что написано в этом файле, зачем и почему именно так?

Share this post


Link to post
Share on other sites
4 часа назад, florapraktik сказал:

Чиста любопытна. Если есть

Allow: /*.js

то зачем ещё и 

Allow: /catalog/view/javascript/*/

а потом ещё и

Allow: /catalog/view/javascript/*.js*

а потом

Allow: /catalog/view/javascript/jquery/*

И как апогей апофеоза:

Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

 

ПС Вы точно понимаете, что написано в этом файле, зачем и почему именно так?

 

На практике сталкивался, что приходилось "доходчиво" объяснять роботу что открыт доступ к ресурсам, в частности в Google, после данной конструкции проблема была решена...

 

Вот собственно почему...

 

То что дублируется знаю и вижу...

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.