Jump to content

Recommended Posts

Друзья, подскажите плиз что делать в такой ситуации. В вебмастере Гугла указываются заблокированные ресурсы. Заблокированы они по причине запрета в роботсе (Disallow: /catalog). Вопрос - не обращать внимание или открыть каталаог?

Share this post


Link to post
Share on other sites

/catalog  и не должен индексироваться. Потому что такая папка есть и урла такого в магазине нет

Share this post


Link to post
Share on other sites

Дело в том, что Гугл пишет, что не может корректно проиндексировать ряд страниц, из-за закрытой директории каталог. Т.е. не прямо требует открыть, но намекает... При этом ошибок в роботсе не находит.

Share this post


Link to post
Share on other sites

потому что он хочет индексировать все!!!!

и стили и скрипты, которые тянутся из /catalog/.....

Share this post


Link to post
Share on other sites

потому что он хочет индексировать все!!!!

и стили и скрипты, которые тянутся из /catalog/.....

 

Ну так что? Не обращать внимание?

Share this post


Link to post
Share on other sites

Ну так что? Не обращать внимание?

Он не должен его индексировать

Share this post


Link to post
Share on other sites

Спасибо за ответы.

 

Можно (нужно) allow разрешить гуглю щупать файлы стилей и скриптов, которые он видит в коде страницы.

 

Откройте код, посмотрите, какие строчки в head ведут через /catalog. Эти пути и разрешите ему. Больше ругаться не будет, ибо в коде есть путь, а ему туда запрещают лезть :)

 

Доп. информация:

 

Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Робот Googlebot должен видеть ваш сайт как обычный пользователь. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание. Это может ухудшить позиции вашего сайта в Поиске.

Рекомендуемые действия:

  1. Убедитесь, что Googlebot может сканировать JavaScript, CSS и графические файлы. Для этого в Инструментах Google для веб-мастеров есть функцияПросмотреть как Googlebot. Эта функция моделирует процесс сканирования и отображения страниц. С ее помощью можно найти и исправить ошибки индексирования сайта.
  2. Проверьте свой файл robots.txt в Инструментах Google для веб-мастеров.
  3. Проверьте свой мобильный сайт с помощью специального теста, чтобы узнать, насколько он удобен для пользователей телефонов.
  4. Если у вас есть отдельные мобильные версии страниц, проверьте их наряду с URL для обычных компьютеров, чтобы убедиться, что переадресация выполняется без ошибок.

 

 

 

 

А вот как видит мой сайт гугл при проверке на мобильном устройстве:

 

 

Но в действительности с сайтом на мобильных устройствах всё ОК.
 
Выводы делайте сами, почему он ругается и надо ли ему открыть доступ.

post-3354-0-57566700-1430241690_thumb.jpg

  • +1 1

Share this post


Link to post
Share on other sites

P.S. нельзя недооценивать эти, казалось бы, мелкие рекомендации.

 

Тенденция ранжирования гугл сегодня — постепенное понижение не оптимизированных под мобильные устройства сайтов. Логика такова: не имеешь путёвой мобильной версии — не будешь высоко в общей выдаче. Поэтому, рано или поздно (для гугл) придется responsive дизайн сайтам делать, если хотите высоко быть в google.

Share this post


Link to post
Share on other sites

Зачем стили для робота?

Зачем ему скрипты?

 

Он ведь почему0то не ругается на то что, страница закрыта от робота

а ругается на стили и скрипты - не ох@ел?

Share this post


Link to post
Share on other sites

Зачем стили для робота?

Зачем ему скрипты?

 

Он ведь почему0то не ругается на то что, страница закрыта от робота

а ругается на стили и скрипты - не ох@ел?

На стили ругаться повод есть

Роботы уже лет как десять научились читать стили и определять, где хитрожопый мастер накидал на страницу текста для поиска, который пользователям на самом деле не виден

Так что смысл в его словах есть

Share this post


Link to post
Share on other sites

Я скорей уверен, что это хитрожопый гугл чего-то хочет. А скорей всего  у него, что-то сломалось, или недработали.

 

Тю что Г умеет читать страницы мимо роботс всем известно, а тут, бах, а подать сюда Ляпкина-Тяпкина.

Share this post


Link to post
Share on other sites

Это был эксперимент. 

 

Я вчера показывал скриншот, где на мой сайт ругался гугл.

 

Сегодня я прописал в роботсе строки:

 

Allow: /catalog/view/theme/моятема/stylesheet
Allow: /catalog/view/theme/моятема/bootstrap
Allow: /catalog/view/theme/default/stylesheet
Allow: /catalog/view/javascript

 

 

 

И тут же отправил на проверку. Как я и утверждал, всё было именно в описанной мной причине.

 

Вывод очевиден.

post-3354-0-52095000-1430319936_thumb.jpg

Share this post


Link to post
Share on other sites

Важно!

 

Необходимо соблюдать последовательность. Данные разрешения я прописал после запрещения

 

Disallow: /catalog

Share this post


Link to post
Share on other sites

Всем добрый день помогите чайнику слезть с плиты!! Сайт https://glazok.net.ua создан в опекарте. В файле роботс закрыты от индексации такие моменты:

Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
которые в свою очередь создают множество (970) ошибок сканирования для гуглбота в режиме для смартфона. Ошибки выглядят примерно так: 
johnson-and-johnson/?sort=p.model&order=ASC
johnson-and-johnson/?limit=75
sauflon/?limit=50
kontaktnye-linzy/kvartalnye/brand_interojo/sila_-4-25/radius_8-6?sort=p.model&order=ASC
Подскажите может кто знает решение для такого рода проблем? 

Share this post


Link to post
Share on other sites

Как я понимаю надо разрешить сканирование, но запретить индексирование. Подскажите можно ли будет это решить при помощи использования метатега <meta name="robots" content="noindex, follow">. Детальнее о данном метатеге Вы можете прочитать тут https://developers.google.com/search/reference/robots_meta_tag?hl=ru

 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.