Jump to content

Recommended Posts

Не так давно консультировался на форуме с одним seo-специалистом по поводу robots.txt. Он мне составил на его взгляд правильный robots, я разместил его на сайте и совсем про него забыл. Недавно заметил, что трафика с гугла совсем не стало. Запросил аудит у подрядчиков, которые занимаются ведением нашей рекламной компании на Маркете. Они мне прислали результаты, где очень ругаются на роботс, говорят, что он не дает нормально в гугле продвигаться. Пишут следующее:


1) Сайт доступен для индексации, но некоторые директивы robots.txt прописаны некорректно (директива Host), так же нет отдельной настройки под Google с учетом требований по индексации для этой поисковой системы.
2) Из-за отсутствия отдельной прописи директив под Google, сайт не совсем корректно индексируется, т.к. заблокированы все js скрипты (робот Google интерпретирует скрипты для правильного понимания функционала). Необходимо исправить.

 

Зашел в Гугл панель, смотрю, а там из 15000 страниц, больше 10000 закрыто роботсом. Но тот, кто мне делал его, говорил, что там все идеально и лучше быть не может. Я в этом ничего не понимаю. Подскажите, что там такое, что так сказывается на гугле? Роботс приложил. Кто-нибудь может помочь исправить эти ошибки?
 

 

 

robots.txt

Edited by cenomart

Share this post


Link to post
Share on other sites

Уберите строчки (в.т.ч повторяющеися)

Disallow: /catalog

Allow: /catalog/view/javascript/

Allow: /catalog/view/theme/*/

Host: https://domolon.ru

и будет вам счастье.

Share this post


Link to post
Share on other sites
Спойлер

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?mfp=
Disallow: /*&mfp=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

host, sitemap, разделения на ботов

нахрен не надо

  • +1 1

Share this post


Link to post
Share on other sites

Важно ли иметь Allow на явускрипт и шаблон или можно забить @Otvet?

Edited by ActiveSync

Share this post


Link to post
Share on other sites

Я многолетний, ярый сторонник закрытия роботсом всех скриптов!

Но на https сайтах - у меня роботс полностью открыт.

Disallow:

Я в топах (в Яндексе по Москве без бэк ссылок - только на качестве сайта - ниша очень дорогая)

Должен признать, всегда очень плохо относился к Яндексу. Лет 6 назад с ним имел дело последний раз.

Сейчас потребовался и Яндекс меня приятно удивил. Вообще не ожидал увидеться в индексе месяцев - 2-3.

 

PS В ОС я новичок - я SEO-шник - у меня не магазины (в Яндексе) - новому сайту около 1 месяца

Edited by stringer

Share this post


Link to post
Share on other sites
3 часа назад, ActiveSync сказал:

Важно ли иметь Allow на явускрипт и шаблон или можно забить @Otvet?

без этого гуглбот видит просто текст и не очень этому рад

Share this post


Link to post
Share on other sites

del

Edited by ActiveSync
del

Share this post


Link to post
Share on other sites
16 часов назад, spectre сказал:

без этого гуглбот видит просто текст и не очень этому рад

по гугл боту я уже давал инструкции на форуме
в робот добавить как минимум 
 

User-agent: Googlebot

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

ну и смотрим чего он там еще не видит и по возможности добавляем ему разрешение (хотя как только перейдете в "зеленый сектор" этого будет уже достаточно
примерно так
 

Share this post


Link to post
Share on other sites
5 часов назад, Pascha сказал:

по гугл боту я уже давал инструкции на форуме
в робот добавить как минимум 
 


User-agent: Googlebot

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

ну и смотрим чего он там еще не видит и по возможности добавляем ему разрешение (хотя как только перейдете в "зеленый сектор" этого будет уже достаточно
примерно так
 

А если в зеленом секторе, но рядом показывает пустой экран?

596016004_GoogleSearchConsole-MozillaFirefox.thumb.jpg.706a14455c711c2edaaf3567fb1e0517.jpg

 

И можете направить на свои инструкции по гугл боту, где их почитать?

Edited by flaero

Share this post


Link to post
Share on other sites
30 минут назад, flaero сказал:

А если в зеленом секторе, но рядом показывает пустой экран?

тогда смотрим сюда http://joxi.ru/52aRPXeIEkjp3A
возможно там есть ответ на Ваш вопрос

или как минимум адрес сайта в личку... тогда хоть что то можно сказать, кроме гаданий на кофейной гуще

Share this post


Link to post
Share on other sites
17 часов назад, Pascha сказал:

по гугл боту я уже давал инструкции на форуме
в робот добавить как минимум 
 


User-agent: Googlebot

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

ну и смотрим чего он там еще не видит и по возможности добавляем ему разрешение (хотя как только перейдете в "зеленый сектор" этого будет уже достаточно
примерно так
 

А это и для второй версии и для 1.5 подойдет?

Share this post


Link to post
Share on other sites
23 минуты назад, cenomart сказал:

А это и для второй версии и для 1.5 подойдет?

А в чем разница? Робот тхт мало чем меняется от версии к версии

+ все решается правкой файла и проверкой по сервису, ссылку на который дал выше, лучше убедиться самому, чем слушать Пашу.

 

И ещё..

Для ботв иногда закрывают в htaccess

Проверяемых наличие похожего кода

Если нашли кмментим или удаляем

RewriteEngine on
   SetEnvIfNoCase User-Agent "...." bad_bot

   <Limit GET POST HEAD>
   order allow,deny
   allow from all
   deny from env=bad_bot
   </Limit>

Share this post


Link to post
Share on other sites
2 часа назад, Pascha сказал:

А в чем разница? Робот тхт мало чем меняется от версии к версии

+ все решается правкой файла и проверкой по сервису, ссылку на который дал выше, лучше убедиться самому, чем слушать Пашу.

 

И ещё..

Для ботв иногда закрывают в htaccess

Проверяемых наличие похожего кода

Если нашли кмментим или удаляем


RewriteEngine on
   SetEnvIfNoCase User-Agent "...." bad_bot

   <Limit GET POST HEAD>
   order allow,deny
   allow from all
   deny from env=bad_bot
   </Limit>

Роботс, как я понял, должен примерно так выглядеть?

 

Спойлер

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /login
Disallow: /affiliate-login
Disallow: /request-return
Disallow: /rekvizity.html
Disallow: /politika-bezopasnosti.html
Disallow: /shopping-cart
Disallow: /compare-products
Disallow: /vouchers
Disallow: /forgot-password
Disallow: /search
Disallow: /create-affiliate-account
Disallow: /affiliate-forgot-password
Disallow: /contact-us
Disallow: /*?*filter_*=*
Disallow: /rekvizity

Clean-param: tracking&limit&order&sort /*

#All
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /login
Disallow: /affiliate-login
Disallow: /request-return
Disallow: /rekvizity.html
Disallow: /politika-bezopasnosti.html
Disallow: /shopping-cart
Disallow: /compare-products
Disallow: /vouchers
Disallow: /forgot-password
Disallow: /search
Disallow: /create-affiliate-account
Disallow: /affiliate-forgot-password
Disallow: /contact-us
Disallow: /rekvizity
Disallow: /*?*sort=*
Disallow: /*?*order=*
Disallow: /*?*limit=*
Disallow: /*?*filter_*=*
Disallow: /*?*tracking=*
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.