Перейти к содержанию

Рекомендуемые сообщения

Друзья, подскажите плиз что делать в такой ситуации. В вебмастере Гугла указываются заблокированные ресурсы. Заблокированы они по причине запрета в роботсе (Disallow: /catalog). Вопрос - не обращать внимание или открыть каталаог?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

/catalog  и не должен индексироваться. Потому что такая папка есть и урла такого в магазине нет

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Дело в том, что Гугл пишет, что не может корректно проиндексировать ряд страниц, из-за закрытой директории каталог. Т.е. не прямо требует открыть, но намекает... При этом ошибок в роботсе не находит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

потому что он хочет индексировать все!!!!

и стили и скрипты, которые тянутся из /catalog/.....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

потому что он хочет индексировать все!!!!

и стили и скрипты, которые тянутся из /catalog/.....

 

Ну так что? Не обращать внимание?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ну так что? Не обращать внимание?

Он не должен его индексировать

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Спасибо за ответы.

 

Можно (нужно) allow разрешить гуглю щупать файлы стилей и скриптов, которые он видит в коде страницы.

 

Откройте код, посмотрите, какие строчки в head ведут через /catalog. Эти пути и разрешите ему. Больше ругаться не будет, ибо в коде есть путь, а ему туда запрещают лезть :)

 

Доп. информация:

 

Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Робот Googlebot должен видеть ваш сайт как обычный пользователь. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание. Это может ухудшить позиции вашего сайта в Поиске.

Рекомендуемые действия:

  1. Убедитесь, что Googlebot может сканировать JavaScript, CSS и графические файлы. Для этого в Инструментах Google для веб-мастеров есть функцияПросмотреть как Googlebot. Эта функция моделирует процесс сканирования и отображения страниц. С ее помощью можно найти и исправить ошибки индексирования сайта.
  2. Проверьте свой файл robots.txt в Инструментах Google для веб-мастеров.
  3. Проверьте свой мобильный сайт с помощью специального теста, чтобы узнать, насколько он удобен для пользователей телефонов.
  4. Если у вас есть отдельные мобильные версии страниц, проверьте их наряду с URL для обычных компьютеров, чтобы убедиться, что переадресация выполняется без ошибок.

 

 

 

 

А вот как видит мой сайт гугл при проверке на мобильном устройстве:

 

 

Но в действительности с сайтом на мобильных устройствах всё ОК.
 
Выводы делайте сами, почему он ругается и надо ли ему открыть доступ.

post-3354-0-57566700-1430241690_thumb.jpg

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

P.S. нельзя недооценивать эти, казалось бы, мелкие рекомендации.

 

Тенденция ранжирования гугл сегодня — постепенное понижение не оптимизированных под мобильные устройства сайтов. Логика такова: не имеешь путёвой мобильной версии — не будешь высоко в общей выдаче. Поэтому, рано или поздно (для гугл) придется responsive дизайн сайтам делать, если хотите высоко быть в google.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Зачем стили для робота?

Зачем ему скрипты?

 

Он ведь почему0то не ругается на то что, страница закрыта от робота

а ругается на стили и скрипты - не ох@ел?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Зачем стили для робота?

Зачем ему скрипты?

 

Он ведь почему0то не ругается на то что, страница закрыта от робота

а ругается на стили и скрипты - не ох@ел?

На стили ругаться повод есть

Роботы уже лет как десять научились читать стили и определять, где хитрожопый мастер накидал на страницу текста для поиска, который пользователям на самом деле не виден

Так что смысл в его словах есть

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я скорей уверен, что это хитрожопый гугл чего-то хочет. А скорей всего  у него, что-то сломалось, или недработали.

 

Тю что Г умеет читать страницы мимо роботс всем известно, а тут, бах, а подать сюда Ляпкина-Тяпкина.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Это был эксперимент. 

 

Я вчера показывал скриншот, где на мой сайт ругался гугл.

 

Сегодня я прописал в роботсе строки:

 

Allow: /catalog/view/theme/моятема/stylesheet
Allow: /catalog/view/theme/моятема/bootstrap
Allow: /catalog/view/theme/default/stylesheet
Allow: /catalog/view/javascript

 

 

 

И тут же отправил на проверку. Как я и утверждал, всё было именно в описанной мной причине.

 

Вывод очевиден.

post-3354-0-52095000-1430319936_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Важно!

 

Необходимо соблюдать последовательность. Данные разрешения я прописал после запрещения

 

Disallow: /catalog

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Всем добрый день помогите чайнику слезть с плиты!! Сайт https://glazok.net.ua создан в опекарте. В файле роботс закрыты от индексации такие моменты:

Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
которые в свою очередь создают множество (970) ошибок сканирования для гуглбота в режиме для смартфона. Ошибки выглядят примерно так: 
johnson-and-johnson/?sort=p.model&order=ASC
johnson-and-johnson/?limit=75
sauflon/?limit=50
kontaktnye-linzy/kvartalnye/brand_interojo/sila_-4-25/radius_8-6?sort=p.model&order=ASC
Подскажите может кто знает решение для такого рода проблем? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Как я понимаю надо разрешить сканирование, но запретить индексирование. Подскажите можно ли будет это решить при помощи использования метатега <meta name="robots" content="noindex, follow">. Детальнее о данном метатеге Вы можете прочитать тут https://developers.google.com/search/reference/robots_meta_tag?hl=ru

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.