Jump to content
Sign in to follow this  
gidrik

Googlebot не может получить доступ к файлам CSS и JS

Recommended Posts

Сегодня получил на почту письмо от Google, в котором пишется, что гуглбот не может получить доступ к файлам CSS и JS. Также в письме указано, что для устранения этой проблемы необходимо найти заблокированные ресурсы и открыть их в robots.txt. 

Но на сайте в robots.txt не стоит блокировки на CSS и JS. Cледуя советам гугла - протестировал сайт инструментом "Посмотреть как Гуглбот", но заблокированных ресурсов также не смог выявить.

 

Подскажите, в чем может быть причина, по которой гугл не может получить доступ к CSS и JS?

 

Сайт - http://bestbattery.com.ua/

 

Robots.txt:

User-agent: *
Disallow: /index.php*
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*?currency=
Disallow: /*?route=product
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /popup
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /login/
Disallow: /forgot-password/
Disallow: /shopping-cart/
Disallow: /search*

Sitemap: http://bestbattery.com.ua/sitemap.xml
Host: bestbattery.com.ua 

Share this post


Link to post
Share on other sites

 

Сегодня получил на почту письмо от Google, в котором пишется, что гуглбот не может получить доступ к файлам CSS и JS. Также в письме указано, что для устранения этой проблемы необходимо найти заблокированные ресурсы и открыть их в robots.txt. 

Но на сайте в robots.txt не стоит блокировки на CSS и JS. Cледуя советам гугла - протестировал сайт инструментом "Посмотреть как Гуглбот", но заблокированных ресурсов также не смог выявить.

 

Подскажите, в чем может быть причина, по которой гугл не может получить доступ к CSS и JS?

 

Сайт - http://bestbattery.com.ua/

 

Robots.txt:

User-agent: *
Disallow: /index.php*
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*?currency=
Disallow: /*?route=product
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /popup
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /login/
Disallow: /forgot-password/
Disallow: /shopping-cart/
Disallow: /search*

Sitemap: http://bestbattery.com.ua/sitemap.xml
Host: bestbattery.com.ua 

У меня таже проблема, Подскажите в чем причина)) Пожалуйста! Тоже пришло такое письмо.

Вот рототс

User-Agent: *

Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /my-account
Disallow: /order-history
Disallow: /change-password
Disallow: /search?filter_name=
Disallow: /search
Disallow: /search?
Disallow: /search?tag=
Disallow: /checkout
Disallow: /cart
Disallow: /vouchers
Disallow: /request-return
Disallow: /login
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/search
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*route=product/filter
Disallow: /*index.php?route=account/simpleregister
 
User-Agent: Yandex
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /my-account
Disallow: /order-history
Disallow: /change-password
Disallow: /search?filter_name=
Disallow: /search
Disallow: /search?
Disallow: /search?tag=
Disallow: /checkout
Disallow: /cart
Disallow: /vouchers
Disallow: /request-return
Disallow: /login
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/search
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*route=product/filter
Disallow: /*index.php?route=account/simpleregister
 
Host: belosnejka52.ru/

Share this post


Link to post
Share on other sites

у меня была сегодня такая же ошибка на 6 сайтах, я забил на это :) но интересно тоже... (причем сайты на разных движках - опенкарт, вордпрес, drupal)

Edited by yuriktekhex

Share this post


Link to post
Share on other sites
Дайте в robots  доступ  до скриптов и стилей



Allow: /catalog/view/theme/название шаблона/stylesheet
Allow: /catalog/view/javascript


 

Сразу после Disallow: /catalog

Share this post


Link to post
Share on other sites

Интересно, а на кой вообще боту доступ к скриптам и стилям?

Share this post


Link to post
Share on other sites

 

Дайте в robots  доступ  до скриптов и стилей
Allow: /catalog/view/theme/название шаблона/stylesheet
Allow: /catalog/view/javascript
 
Сразу после Disallow: /catalog

 

Спасибо!!!!

Share this post


Link to post
Share on other sites

Интересно, а на кой вообще боту доступ к скриптам и стилям?

Он развивается и стремится видеть "как человек"

А стили и скрипты нужны для оценки того какой контент насколько доступен для пользователя

То есть открытый текст в верхней части ценится выше, в нижней меньше

Всякие дропдауны и прочий контент завязанный на определенные условия еще ниже

А скрытые игнорируются или же вообще могут наказываться

Вопрос в том действует ли презумпция невиновности если ты скрываешь скрипты и стили или наоборот. Для меня это пока не понятно

Edited by Otvet

Share this post


Link to post
Share on other sites

 

Дайте в robots  доступ  до скриптов и стилей
Allow: /catalog/view/theme/название шаблона/stylesheet
Allow: /catalog/view/javascript
 
Сразу после Disallow: /catalog

 

Для тех у кого тема отличная от default, и установлены сторонние модули, может ещё понадобится добавить

Allow: /catalog/view/theme/default/stylesheet
 
встречаются модули которые ложат свой css только в default
Edited by Sha

Share this post


Link to post
Share on other sites

Звездочку вместо имени шаблона и нет проблем

Share this post


Link to post
Share on other sites

А там есть мнение?

Share this post


Link to post
Share on other sites

 

 

Сейчас все в поисках выхода из этой ситуации, я согласна с мнением, которое озвучено в статье http://seoprofy.ua/b...ooglebot-css-js

Если в магазине установлено много модулей и файлы css и js разбросаны по разным местам - файл Robot.txt будет просто нереальных размеров - это не очень хорошо для ПС.

 

 

Сам Google рекомендовал так:

User-agent: Googlebot

Allow: .css

Allow: .js

Источник http://www.searcheng...t_problemy.html

Не работает этот способ - файлы css и js, закрытые в каталогах, так и не попадают в индексацию.

Share this post


Link to post
Share on other sites

Боту нужны доступы к стилям и скриптам шаблона.Решение я написал выше.

Share this post


Link to post
Share on other sites

 

 

Боту нужны доступы к файлам шаблона.Решение я написал выше.

 

А если в магазине есть css и js не только в папке темы? Их все нужно прописать?

Share this post


Link to post
Share on other sites

Можно проверить в личном кабинете вебмастеров гугл.

Share this post


Link to post
Share on other sites

Есть такая простыня (вебмастер выдает при проверке):

http://bestbattery.com.ua/catalog,_view,_theme,_default,_stylesheet,_dbassa_intelligent_product_labels.css catalog,_view,_theme,_polianna,_stylesheet,_stylesheet.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_responsive.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_camera.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_accordion.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_cloud-zoom.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_news.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_fast_order.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_topmenu.css,qv==1.0 catalog,_view,_theme,_default,_stylesheet,_yo-menu,_yo-am.css,qv==1.0 catalog,_view,_javascript,_blog,_colorbox,_css,_0,_colorbox.css,qv==1.0 system,_cache,_seocmspro.css,qv==1.0 catalog,_view,_javascript,_wysibb,_theme,_default,_wbbtheme.css,qv==1.0.pagespeed.cc.QUL2iLI-pF.css

Как к ней доступ гуглботу открыть?

Share this post


Link to post
Share on other sites


Allow: /catalog/view/theme/polianna/stylesheet

Allow: /catalog/view/javascript

Share this post


Link to post
Share on other sites

 

 

Allow: /catalog/view/theme/polianna/stylesheet

Allow: /catalog/view/javascript

 

Не работает.

В строке есть нижнее подчеркивание - получается совсем другой файл -  http://bestbattery.com.ua/catalog,_view,_theme,_default,_stylesheet,_dbassa_intelligent_product_labels.css catalog,_view,_theme,_polianna,_stylesheet,_stylesheet.css

 

Я добавил строку: 

Allow: /catalog,_view,_theme,_default,_stylesheet,_dbassa_intelligent_product_labels.css

тогда проверку проходит, но яндекс вебмастер матюкается на ошибку в файле robots.txt (недопустимые символы).

Share this post


Link to post
Share on other sites
Не работает.

 

 

Каким образом?

Share this post


Link to post
Share on other sites

 

 

Каким образом?

 

Заходишь в вебмастер, открываешь вкладку анализа Robots.txt, загружаешь свой robots.txt.

Затем для проверки добавляешь:

http://bestbattery.com.ua/catalog,_view,_theme,_default,_stylesheet,_dbassa_intelligent_product_labels.css catalog,_view,_theme,_polianna,_stylesheet,_stylesheet.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_responsive.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_camera.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_accordion.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_cloud-zoom.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_news.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_fast_order.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_topmenu.css,qv==1.0 catalog,_view,_theme,_default,_stylesheet,_yo-menu,_yo-am.css,qv==1.0 catalog,_view,_javascript,_blog,_colorbox,_css,_0,_colorbox.css,qv==1.0 system,_cache,_seocmspro.css,qv==1.0 catalog,_view,_javascript,_wysibb,_theme,_default,_wbbtheme.css,qv==1.0.pagespeed.cc.QUL2iLI-pF.css

пишет, что запрещен правилом /catalog

Share this post


Link to post
Share on other sites

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Allow: /catalog/view/theme/polianna/stylesheet
Allow: /catalog/view/javascript
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=



User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Allow: /catalog/view/theme/polianna/stylesheet
Allow: /catalog/view/javascript
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Sitemap:http://bestbattery.com.ua/index.php?route=feed/google_sitemap
Host: bestbattery.com.ua

Share this post


Link to post
Share on other sites

Не помогает - все-равно пишет, что запрещено правилом /catalog

 

Я не могу понять, откуда взялся файл стилей, в котором названия начинаются с нижнего подчеркивания: _view, _theme, _default и т.д. Когда этот файл стилей так и добавляешь в роботс (с нижним подчеркиванием) - все нормально, проверку проходит.

Но можно ли такое название с нижним подчеркиванием вносить в robots.txt? Как к этому отнесется Яндекс?

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.