Перейти к содержанию

Рекомендуемые сообщения

Ребята , что значит Заблокированные ресурсы в google webmaster tools?

инфу не нашел. кто сталкивался и как с этим бороться ?

 

4fc5c89676bf.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
я так понимаю , вот эти файлы у меня заблокированы в robot.txt?

версия ocstore 2101

b06b63dff35c.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

а можно по подробнее ?
вот мой файл robot.txt

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

 

что именно и как менять? я не силён в этом.

Изменено пользователем ioniamichael

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

если я правильно понимаю, нужно вот это строку

User-agent: *

Disallow: /catalog

 

 

 

заменить на эту ?

User-agent: *

allow: /catalog

 

или не так это делается ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Все открывать не надо

 

Сперва запретить директорию со всем содержимым

Disallow: /catalog

Потом добавить исключение

Allow: /catalog/view/theme/default/stylesheet/

Allow: /catalog/view/javascript

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
значет в конце User-agent: * добавить эти 2 строки и всё да?


Allow: /catalog/view/theme/default/stylesheet/


Allow: /catalog/view/javascript



 

птому что Disallow: /catalog и так уже запрещено нет?

 

или исключения по другому добавляются?

Изменено пользователем ioniamichael

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для каждого юзер-агента. Робот читает сверху вниз. Если где-то что-то запретили, значит ниже нужно разрешить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

спасибо большое . сделал так 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Allow: /catalog/view/theme/default/stylesheet/
Allow: /catalog/view/javascript

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Allow: /catalog/view/theme/default/stylesheet/
Allow: /catalog/view/javascript
Clean-param: tracking

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ну. теперь смотрите гуглвебмастерс

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Добрый день,

 

Тоже сейчас разбираюсь с гуглвебмастером при проверке robots.txt

 пишет одну ошибку.

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /&coolfilter*
Disallow: /?coolfilter*

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /&coolfilter*
Disallow: /?coolfilter*
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: Мой_Домен.com
Sitemap: http://Мой_Домен.com/index.php?route=feed/google_sitemap

 

Ругается на - Clean-param: tracking

 

Что это, я пока мало разбираюсь не подскажите? Может ещё есть какие-то косяки в моём robots.txt ??

 

 

И ещё вопрос, ошибки сканирования URL это нормально? у меня он нашел три, две из которых это я сам сменил url. По третей не понятно, там длинная запись что-то с фильтром связано. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Други, помогите у меня такая вот петрушка.  Что делать, куда тыкать, не понимаю. поиск мне отказался помогать. видать не там ищу. 

 

01ebf1e6ce90.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

кликни на ссылку и он покажет все заблокированные ресурсы

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Присоединяюсь к теме, в robots:

...

Disallow: /catalog
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/default/image/
Allow: /catalog/view/theme/default/stylesheet/
Allow: /catalog/view/javascript/jquery

...

 

но на протяжении месяца, 250 ресурсов, по прежнему заблокированы.( heed halp..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В общем. клацал google webmaster tools, в разделе просмотреть как гугл бот. разблокировал несколько катологов. Количество заблокированных ресурсов пошло на спад. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Похоже, что именно из-за того, что были заблокированы стили, у меня все позиции улетели за -100. Решение есть тут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вот полный robots.txt должно помочь в решении проблемы

 

User-agent: *

 

Disallow: /*filter
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?minprice
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /catalog/view/theme/ВАША ТЕМА (если не стандарт)/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
10 часов назад, Velobikes сказал:

Вот полный robots.txt должно помочь в решении проблемы

 

User-agent: *

 

Disallow: /*filter
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?minprice
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /catalog/view/theme/ВАША ТЕМА (если не стандарт)/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

Чиста любопытна. Если есть

Allow: /*.js

то зачем ещё и 

Allow: /catalog/view/javascript/*/

а потом ещё и

Allow: /catalog/view/javascript/*.js*

а потом

Allow: /catalog/view/javascript/jquery/*

И как апогей апофеоза:

Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

 

ПС Вы точно понимаете, что написано в этом файле, зачем и почему именно так?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
4 часа назад, florapraktik сказал:

Чиста любопытна. Если есть

Allow: /*.js

то зачем ещё и 

Allow: /catalog/view/javascript/*/

а потом ещё и

Allow: /catalog/view/javascript/*.js*

а потом

Allow: /catalog/view/javascript/jquery/*

И как апогей апофеоза:

Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js

 

ПС Вы точно понимаете, что написано в этом файле, зачем и почему именно так?

 

На практике сталкивался, что приходилось "доходчиво" объяснять роботу что открыт доступ к ресурсам, в частности в Google, после данной конструкции проблема была решена...

 

Вот собственно почему...

 

То что дублируется знаю и вижу...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.