[Решено] Гугл ругается

[Mikhael]

Друзья, подскажите плиз что делать в такой ситуации. В вебмастере Гугла указываются заблокированные ресурсы. Заблокированы они по причине запрета в роботсе (Disallow: /catalog). Вопрос - не обращать внимание или открыть каталаог?

[deim]

/catalog  и не должен индексироваться. Потому что такая папка есть и урла такого в магазине нет

[RodgerFox]

А зачем открывать каталог? 

[Mikhael]

Дело в том, что Гугл пишет, что не может корректно проиндексировать ряд страниц, из-за закрытой директории каталог. Т.е. не прямо требует открыть, но намекает... При этом ошибок в роботсе не находит.

[chukcha]

потому что он хочет индексировать все!!!!

и стили и скрипты, которые тянутся из /catalog/.....

[Mikhael]

потому что он хочет индексировать все!!!!

и стили и скрипты, которые тянутся из /catalog/.....

 

Ну так что? Не обращать внимание?

[deim]

Ну так что? Не обращать внимание?

Он не должен его индексировать

[Mikhael]

Спасибо за ответы.

[Truth_Explorer]

Спасибо за ответы.

 

Можно (нужно) allow разрешить гуглю щупать файлы стилей и скриптов, которые он видит в коде страницы.

 

Откройте код, посмотрите, какие строчки в head ведут через /catalog. Эти пути и разрешите ему. Больше ругаться не будет, ибо в коде есть путь, а ему туда запрещают лезть :)

 

Доп. информация:

 

Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Робот Googlebot должен видеть ваш сайт как обычный пользователь. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание. Это может ухудшить позиции вашего сайта в Поиске.

Рекомендуемые действия:

1. Убедитесь, что Googlebot может сканировать JavaScript, CSS и графические файлы. Для этого в Инструментах Google для веб-мастеров есть функцияПросмотреть как Googlebot. Эта функция моделирует процесс сканирования и отображения страниц. С ее помощью можно найти и исправить ошибки индексирования сайта.
2. Проверьте свой файл robots.txt в Инструментах Google для веб-мастеров.
3. Проверьте свой мобильный сайт с помощью специального теста, чтобы узнать, насколько он удобен для пользователей телефонов.
4. Если у вас есть отдельные мобильные версии страниц, проверьте их наряду с URL для обычных компьютеров, чтобы убедиться, что переадресация выполняется без ошибок.

 

 

 

 

А вот как видит мой сайт гугл при проверке на мобильном устройстве:

 

 

Но в действительности с сайтом на мобильных устройствах всё ОК.

 

Выводы делайте сами, почему он ругается и надо ли ему открыть доступ.

[Truth_Explorer]

P.S. нельзя недооценивать эти, казалось бы, мелкие рекомендации.

 

Тенденция ранжирования гугл сегодня — постепенное понижение не оптимизированных под мобильные устройства сайтов. Логика такова: не имеешь путёвой мобильной версии — не будешь высоко в общей выдаче. Поэтому, рано или поздно (для гугл) придется responsive дизайн сайтам делать, если хотите высоко быть в google.

[chukcha]

Зачем стили для робота?

Зачем ему скрипты?

 

Он ведь почему0то не ругается на то что, страница закрыта от робота

а ругается на стили и скрипты - не ох@ел?

[deim]

Зачем стили для робота?

Зачем ему скрипты?

 

Он ведь почему0то не ругается на то что, страница закрыта от робота

а ругается на стили и скрипты - не ох@ел?

На стили ругаться повод есть

Роботы уже лет как десять научились читать стили и определять, где хитрожопый мастер накидал на страницу текста для поиска, который пользователям на самом деле не виден

Так что смысл в его словах есть

[chukcha]

Я скорей уверен, что это хитрожопый гугл чего-то хочет. А скорей всего  у него, что-то сломалось, или недработали.

 

Тю что Г умеет читать страницы мимо роботс всем известно, а тут, бах, а подать сюда Ляпкина-Тяпкина.

[Truth_Explorer]

Это был эксперимент. 

 

Я вчера показывал скриншот, где на мой сайт ругался гугл.

 

Сегодня я прописал в роботсе строки:

 

Allow: /catalog/view/theme/моятема/stylesheet

Allow: /catalog/view/theme/моятема/bootstrap

Allow: /catalog/view/theme/default/stylesheet

Allow: /catalog/view/javascript

 

 

 

И тут же отправил на проверку. Как я и утверждал, всё было именно в описанной мной причине.

 

Вывод очевиден.

[Truth_Explorer]

Важно!

 

Необходимо соблюдать последовательность. Данные разрешения я прописал после запрещения

 

Disallow: /catalog

[KlasterD]

Всем добрый день помогите чайнику слезть с плиты!! Сайт https://glazok.net.ua создан в опекарте. В файле роботс закрыты от индексации такие моменты:

Disallow: /*?sort=

Disallow: /*?sort

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*?order

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

которые в свою очередь создают множество (970) ошибок сканирования для гуглбота в режиме для смартфона. Ошибки выглядят примерно так: 

johnson-and-johnson/?sort=p.model&order=ASC

johnson-and-johnson/?limit=75

sauflon/?limit=50

kontaktnye-linzy/kvartalnye/brand_interojo/sila_-4-25/radius_8-6?sort=p.model&order=ASC

Подскажите может кто знает решение для такого рода проблем? 

[KlasterD]

Как я понимаю надо разрешить сканирование, но запретить индексирование. Подскажите можно ли будет это решить при помощи использования метатега <meta name="robots" content="noindex, follow">. Детальнее о данном метатеге Вы можете прочитать тут https://developers.google.com/search/reference/robots_meta_tag?hl=ru