Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

robots.txt мешает продвижению в google

cenomart
 Share

Recommended Posts

cenomart Community Regular

cenomart

Опубліковано:
Опубліковано: (змінено)

Не так давно консультировался на форуме с одним seo-специалистом по поводу robots.txt. Он мне составил на его взгляд правильный robots, я разместил его на сайте и совсем про него забыл. Недавно заметил, что трафика с гугла совсем не стало. Запросил аудит у подрядчиков, которые занимаются ведением нашей рекламной компании на Маркете. Они мне прислали результаты, где очень ругаются на роботс, говорят, что он не дает нормально в гугле продвигаться. Пишут следующее:


1) Сайт доступен для индексации, но некоторые директивы robots.txt прописаны некорректно (директива Host), так же нет отдельной настройки под Google с учетом требований по индексации для этой поисковой системы.
2) Из-за отсутствия отдельной прописи директив под Google, сайт не совсем корректно индексируется, т.к. заблокированы все js скрипты (робот Google интерпретирует скрипты для правильного понимания функционала). Необходимо исправить.

 

Зашел в Гугл панель, смотрю, а там из 15000 страниц, больше 10000 закрыто роботсом. Но тот, кто мне делал его, говорил, что там все идеально и лучше быть не может. Я в этом ничего не понимаю. Подскажите, что там такое, что так сказывается на гугле? Роботс приложил. Кто-нибудь может помочь исправить эти ошибки?
 

 

 

robots.txt

Змінено користувачем cenomart
Надіслати
Поділитися на інших сайтах

Otvet Grand Master

Otvet

Опубліковано:
Опубліковано:
Спойлер

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?mfp=
Disallow: /*&mfp=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

host, sitemap, разделения на ботов

нахрен не надо

  • +1 1
Надіслати
Поділитися на інших сайтах
1

stringer Community Regular

stringer

Опубліковано:
Опубліковано: (змінено)

Я многолетний, ярый сторонник закрытия роботсом всех скриптов!

Но на https сайтах - у меня роботс полностью открыт. 

Disallow:

Я в топах (в Яндексе по Москве без бэк ссылок - только на качестве сайта - ниша очень дорогая)

Должен признать, всегда очень плохо относился к Яндексу. Лет 6 назад с ним имел дело последний раз.

Сейчас потребовался и Яндекс меня приятно удивил. Вообще не ожидал увидеться в индексе месяцев - 2-3.

 

PS В ОС я новичок - я SEO-шник - у меня не магазины (в Яндексе) - новому сайту около 1 месяца

Змінено користувачем stringer
Надіслати
Поділитися на інших сайтах

spectre Grand Master

spectre

Опубліковано:
Опубліковано:
3 часа назад, ActiveSync сказал:

Важно ли иметь Allow на явускрипт и шаблон или можно забить @Otvet?

без этого гуглбот видит просто текст и не очень этому рад

Надіслати
Поділитися на інших сайтах
1
1
1
1

flaero Proficient

flaero

Опубліковано:
Опубліковано: (змінено)
5 часов назад, Pascha сказал:

по гугл боту я уже давал инструкции на форуме
в робот добавить как минимум 
  


User-agent: Googlebot

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

ну и смотрим чего он там еще не видит и по возможности добавляем ему разрешение (хотя как только перейдете в "зеленый сектор" этого будет уже достаточно
примерно так
 

А если в зеленом секторе, но рядом показывает пустой экран?

596016004_GoogleSearchConsole-MozillaFirefox.thumb.jpg.706a14455c711c2edaaf3567fb1e0517.jpg

 

И можете направить на свои инструкции по гугл боту, где их почитать?

Змінено користувачем flaero
Надіслати
Поділитися на інших сайтах

cenomart Community Regular

cenomart

Опубліковано:
  • Автор
Опубліковано:
17 часов назад, Pascha сказал:

по гугл боту я уже давал инструкции на форуме
в робот добавить как минимум 
  


User-agent: Googlebot

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

ну и смотрим чего он там еще не видит и по возможности добавляем ему разрешение (хотя как только перейдете в "зеленый сектор" этого будет уже достаточно
примерно так
 

А это и для второй версии и для 1.5 подойдет?

Надіслати
Поділитися на інших сайтах

cenomart Community Regular

cenomart

Опубліковано:
  • Автор
Опубліковано:
2 часа назад, Pascha сказал:

А в чем разница? Робот тхт мало чем меняется от версии к версии

+ все решается правкой файла и проверкой по сервису, ссылку на который дал выше, лучше убедиться самому, чем слушать Пашу.

 

И ещё..

Для ботв иногда закрывают в htaccess

Проверяемых наличие похожего кода

Если нашли кмментим или удаляем 


RewriteEngine on
   SetEnvIfNoCase User-Agent "...." bad_bot

   <Limit GET POST HEAD>
   order allow,deny
   allow from all
   deny from env=bad_bot
   </Limit>

Роботс, как я понял, должен примерно так выглядеть?

 

Спойлер

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /login
Disallow: /affiliate-login
Disallow: /request-return
Disallow: /rekvizity.html
Disallow: /politika-bezopasnosti.html
Disallow: /shopping-cart
Disallow: /compare-products
Disallow: /vouchers
Disallow: /forgot-password
Disallow: /search
Disallow: /create-affiliate-account
Disallow: /affiliate-forgot-password
Disallow: /contact-us
Disallow: /*?*filter_*=*
Disallow: /rekvizity

Clean-param: tracking&limit&order&sort /*

#All
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /login
Disallow: /affiliate-login
Disallow: /request-return
Disallow: /rekvizity.html
Disallow: /politika-bezopasnosti.html
Disallow: /shopping-cart
Disallow: /compare-products
Disallow: /vouchers
Disallow: /forgot-password
Disallow: /search
Disallow: /create-affiliate-account
Disallow: /affiliate-forgot-password
Disallow: /contact-us
Disallow: /rekvizity
Disallow: /*?*sort=*
Disallow: /*?*order=*
Disallow: /*?*limit=*
Disallow: /*?*filter_*=*
Disallow: /*?*tracking=*
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

 

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
 Share
Перейти до списку тем

  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку

Покупцям

Розробникам

Корисна інформація

Останні розширення

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.

  Я даю згоду