Перейти к содержанию
gidrik

Googlebot не может получить доступ к файлам CSS и JS

Рекомендуемые сообщения

Сегодня получил на почту письмо от Google, в котором пишется, что гуглбот не может получить доступ к файлам CSS и JS. Также в письме указано, что для устранения этой проблемы необходимо найти заблокированные ресурсы и открыть их в robots.txt. 

Но на сайте в robots.txt не стоит блокировки на CSS и JS. Cледуя советам гугла - протестировал сайт инструментом "Посмотреть как Гуглбот", но заблокированных ресурсов также не смог выявить.

 

Подскажите, в чем может быть причина, по которой гугл не может получить доступ к CSS и JS?

 

Сайт - http://bestbattery.com.ua/

 

Robots.txt:

User-agent: *
Disallow: /index.php*
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*?currency=
Disallow: /*?route=product
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /popup
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /login/
Disallow: /forgot-password/
Disallow: /shopping-cart/
Disallow: /search*

Sitemap: http://bestbattery.com.ua/sitemap.xml
Host: bestbattery.com.ua 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

Сегодня получил на почту письмо от Google, в котором пишется, что гуглбот не может получить доступ к файлам CSS и JS. Также в письме указано, что для устранения этой проблемы необходимо найти заблокированные ресурсы и открыть их в robots.txt. 

Но на сайте в robots.txt не стоит блокировки на CSS и JS. Cледуя советам гугла - протестировал сайт инструментом "Посмотреть как Гуглбот", но заблокированных ресурсов также не смог выявить.

 

Подскажите, в чем может быть причина, по которой гугл не может получить доступ к CSS и JS?

 

Сайт - http://bestbattery.com.ua/

 

Robots.txt:

User-agent: *
Disallow: /index.php*
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*?currency=
Disallow: /*?route=product
Disallow: /*?keyword
Disallow: /*?product/product&product_id=
Disallow: /*?product/category&path=
Disallow: /*?route=common/home
Disallow: /*?product_id
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /popup
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /login/
Disallow: /forgot-password/
Disallow: /shopping-cart/
Disallow: /search*

Sitemap: http://bestbattery.com.ua/sitemap.xml
Host: bestbattery.com.ua 

У меня таже проблема, Подскажите в чем причина)) Пожалуйста! Тоже пришло такое письмо.

Вот рототс

User-Agent: *

Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /my-account
Disallow: /order-history
Disallow: /change-password
Disallow: /search?filter_name=
Disallow: /search
Disallow: /search?
Disallow: /search?tag=
Disallow: /checkout
Disallow: /cart
Disallow: /vouchers
Disallow: /request-return
Disallow: /login
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/search
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*route=product/filter
Disallow: /*index.php?route=account/simpleregister
 
User-Agent: Yandex
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /my-account
Disallow: /order-history
Disallow: /change-password
Disallow: /search?filter_name=
Disallow: /search
Disallow: /search?
Disallow: /search?tag=
Disallow: /checkout
Disallow: /cart
Disallow: /vouchers
Disallow: /request-return
Disallow: /login
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/search
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*route=product/filter
Disallow: /*index.php?route=account/simpleregister
 
Host: belosnejka52.ru/

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

у меня была сегодня такая же ошибка на 6 сайтах, я забил на это :) но интересно тоже... (причем сайты на разных движках - опенкарт, вордпрес, drupal)

Изменено пользователем yuriktekhex

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Дайте в robots  доступ  до скриптов и стилей



Allow: /catalog/view/theme/название шаблона/stylesheet
Allow: /catalog/view/javascript


 

Сразу после Disallow: /catalog

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Интересно, а на кой вообще боту доступ к скриптам и стилям?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Открыл гуглоботу, все что просил на сайте, так эта с.ка теперь ругается на метрику и информер яндекса:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

Дайте в robots  доступ  до скриптов и стилей
Allow: /catalog/view/theme/название шаблона/stylesheet
Allow: /catalog/view/javascript
 
Сразу после Disallow: /catalog

 

Спасибо!!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Интересно, а на кой вообще боту доступ к скриптам и стилям?

Он развивается и стремится видеть "как человек"

А стили и скрипты нужны для оценки того какой контент насколько доступен для пользователя

То есть открытый текст в верхней части ценится выше, в нижней меньше

Всякие дропдауны и прочий контент завязанный на определенные условия еще ниже

А скрытые игнорируются или же вообще могут наказываться

Вопрос в том действует ли презумпция невиновности если ты скрываешь скрипты и стили или наоборот. Для меня это пока не понятно

Изменено пользователем Otvet

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

Дайте в robots  доступ  до скриптов и стилей
Allow: /catalog/view/theme/название шаблона/stylesheet
Allow: /catalog/view/javascript
 
Сразу после Disallow: /catalog

 

Для тех у кого тема отличная от default, и установлены сторонние модули, может ещё понадобится добавить

Allow: /catalog/view/theme/default/stylesheet
 
встречаются модули которые ложат свой css только в default
Изменено пользователем Sha

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Звездочку вместо имени шаблона и нет проблем

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А там есть мнение?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сам Google рекомендовал так:

User-agent: Googlebot

Allow: .css

Allow: .js

Источник http://www.searchengines.ru/seoblog/google_kak_ustranit_problemy.html

Изменено пользователем Romek

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

 

Сейчас все в поисках выхода из этой ситуации, я согласна с мнением, которое озвучено в статье http://seoprofy.ua/b...ooglebot-css-js

Если в магазине установлено много модулей и файлы css и js разбросаны по разным местам - файл Robot.txt будет просто нереальных размеров - это не очень хорошо для ПС.

 

 

Сам Google рекомендовал так:

User-agent: Googlebot

Allow: .css

Allow: .js

Источник http://www.searcheng...t_problemy.html

Не работает этот способ - файлы css и js, закрытые в каталогах, так и не попадают в индексацию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Боту нужны доступы к стилям и скриптам шаблона.Решение я написал выше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

 

Боту нужны доступы к файлам шаблона.Решение я написал выше.

 

А если в магазине есть css и js не только в папке темы? Их все нужно прописать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Можно проверить в личном кабинете вебмастеров гугл.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Есть такая простыня (вебмастер выдает при проверке):

http://bestbattery.com.ua/catalog,_view,_theme,_default,_stylesheet,_dbassa_intelligent_product_labels.css catalog,_view,_theme,_polianna,_stylesheet,_stylesheet.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_responsive.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_camera.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_accordion.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_cloud-zoom.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_news.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_fast_order.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_topmenu.css,qv==1.0 catalog,_view,_theme,_default,_stylesheet,_yo-menu,_yo-am.css,qv==1.0 catalog,_view,_javascript,_blog,_colorbox,_css,_0,_colorbox.css,qv==1.0 system,_cache,_seocmspro.css,qv==1.0 catalog,_view,_javascript,_wysibb,_theme,_default,_wbbtheme.css,qv==1.0.pagespeed.cc.QUL2iLI-pF.css

Как к ней доступ гуглботу открыть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты


Allow: /catalog/view/theme/polianna/stylesheet

Allow: /catalog/view/javascript

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

 

Allow: /catalog/view/theme/polianna/stylesheet

Allow: /catalog/view/javascript

 

Не работает.

В строке есть нижнее подчеркивание - получается совсем другой файл -  http://bestbattery.com.ua/catalog,_view,_theme,_default,_stylesheet,_dbassa_intelligent_product_labels.css catalog,_view,_theme,_polianna,_stylesheet,_stylesheet.css

 

Я добавил строку: 

Allow: /catalog,_view,_theme,_default,_stylesheet,_dbassa_intelligent_product_labels.css

тогда проверку проходит, но яндекс вебмастер матюкается на ошибку в файле robots.txt (недопустимые символы).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Не работает.

 

 

Каким образом?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

 

Каким образом?

 

Заходишь в вебмастер, открываешь вкладку анализа Robots.txt, загружаешь свой robots.txt.

Затем для проверки добавляешь:

http://bestbattery.com.ua/catalog,_view,_theme,_default,_stylesheet,_dbassa_intelligent_product_labels.css catalog,_view,_theme,_polianna,_stylesheet,_stylesheet.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_responsive.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_camera.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_accordion.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_cloud-zoom.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_news.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_fast_order.css,qv==1.0 catalog,_view,_theme,_polianna,_stylesheet,_topmenu.css,qv==1.0 catalog,_view,_theme,_default,_stylesheet,_yo-menu,_yo-am.css,qv==1.0 catalog,_view,_javascript,_blog,_colorbox,_css,_0,_colorbox.css,qv==1.0 system,_cache,_seocmspro.css,qv==1.0 catalog,_view,_javascript,_wysibb,_theme,_default,_wbbtheme.css,qv==1.0.pagespeed.cc.QUL2iLI-pF.css

пишет, что запрещен правилом /catalog

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Allow: /catalog/view/theme/polianna/stylesheet
Allow: /catalog/view/javascript
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=



User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Allow: /catalog/view/theme/polianna/stylesheet
Allow: /catalog/view/javascript
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Sitemap:http://bestbattery.com.ua/index.php?route=feed/google_sitemap
Host: bestbattery.com.ua

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Не помогает - все-равно пишет, что запрещено правилом /catalog

 

Я не могу понять, откуда взялся файл стилей, в котором названия начинаются с нижнего подчеркивания: _view, _theme, _default и т.д. Когда этот файл стилей так и добавляешь в роботс (с нижним подчеркиванием) - все нормально, проверку проходит.

Но можно ли такое название с нижним подчеркиванием вносить в robots.txt? Как к этому отнесется Яндекс?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.