Перейти к содержанию

Рекомендуемые сообщения

Не так давно консультировался на форуме с одним seo-специалистом по поводу robots.txt. Он мне составил на его взгляд правильный robots, я разместил его на сайте и совсем про него забыл. Недавно заметил, что трафика с гугла совсем не стало. Запросил аудит у подрядчиков, которые занимаются ведением нашей рекламной компании на Маркете. Они мне прислали результаты, где очень ругаются на роботс, говорят, что он не дает нормально в гугле продвигаться. Пишут следующее:


1) Сайт доступен для индексации, но некоторые директивы robots.txt прописаны некорректно (директива Host), так же нет отдельной настройки под Google с учетом требований по индексации для этой поисковой системы.
2) Из-за отсутствия отдельной прописи директив под Google, сайт не совсем корректно индексируется, т.к. заблокированы все js скрипты (робот Google интерпретирует скрипты для правильного понимания функционала). Необходимо исправить.

 

Зашел в Гугл панель, смотрю, а там из 15000 страниц, больше 10000 закрыто роботсом. Но тот, кто мне делал его, говорил, что там все идеально и лучше быть не может. Я в этом ничего не понимаю. Подскажите, что там такое, что так сказывается на гугле? Роботс приложил. Кто-нибудь может помочь исправить эти ошибки?
 

 

 

robots.txt

Изменено пользователем cenomart

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Уберите строчки (в.т.ч повторяющеися)

Disallow: /catalog

Allow: /catalog/view/javascript/

Allow: /catalog/view/theme/*/

Host: https://domolon.ru

и будет вам счастье.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Спойлер

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?mfp=
Disallow: /*&mfp=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

host, sitemap, разделения на ботов

нахрен не надо

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Важно ли иметь Allow на явускрипт и шаблон или можно забить @Otvet?

Изменено пользователем ActiveSync

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я многолетний, ярый сторонник закрытия роботсом всех скриптов!

Но на https сайтах - у меня роботс полностью открыт.

Disallow:

Я в топах (в Яндексе по Москве без бэк ссылок - только на качестве сайта - ниша очень дорогая)

Должен признать, всегда очень плохо относился к Яндексу. Лет 6 назад с ним имел дело последний раз.

Сейчас потребовался и Яндекс меня приятно удивил. Вообще не ожидал увидеться в индексе месяцев - 2-3.

 

PS В ОС я новичок - я SEO-шник - у меня не магазины (в Яндексе) - новому сайту около 1 месяца

Изменено пользователем stringer

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 часа назад, ActiveSync сказал:

Важно ли иметь Allow на явускрипт и шаблон или можно забить @Otvet?

без этого гуглбот видит просто текст и не очень этому рад

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

del

Изменено пользователем ActiveSync
del

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
16 часов назад, spectre сказал:

без этого гуглбот видит просто текст и не очень этому рад

по гугл боту я уже давал инструкции на форуме
в робот добавить как минимум 
 

User-agent: Googlebot

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

ну и смотрим чего он там еще не видит и по возможности добавляем ему разрешение (хотя как только перейдете в "зеленый сектор" этого будет уже достаточно
примерно так
 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
5 часов назад, Pascha сказал:

по гугл боту я уже давал инструкции на форуме
в робот добавить как минимум 
 


User-agent: Googlebot

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

ну и смотрим чего он там еще не видит и по возможности добавляем ему разрешение (хотя как только перейдете в "зеленый сектор" этого будет уже достаточно
примерно так
 

А если в зеленом секторе, но рядом показывает пустой экран?

596016004_GoogleSearchConsole-MozillaFirefox.thumb.jpg.706a14455c711c2edaaf3567fb1e0517.jpg

 

И можете направить на свои инструкции по гугл боту, где их почитать?

Изменено пользователем flaero

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
30 минут назад, flaero сказал:

А если в зеленом секторе, но рядом показывает пустой экран?

тогда смотрим сюда http://joxi.ru/52aRPXeIEkjp3A
возможно там есть ответ на Ваш вопрос

или как минимум адрес сайта в личку... тогда хоть что то можно сказать, кроме гаданий на кофейной гуще

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
17 часов назад, Pascha сказал:

по гугл боту я уже давал инструкции на форуме
в робот добавить как минимум 
 


User-agent: Googlebot

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

ну и смотрим чего он там еще не видит и по возможности добавляем ему разрешение (хотя как только перейдете в "зеленый сектор" этого будет уже достаточно
примерно так
 

А это и для второй версии и для 1.5 подойдет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
23 минуты назад, cenomart сказал:

А это и для второй версии и для 1.5 подойдет?

А в чем разница? Робот тхт мало чем меняется от версии к версии

+ все решается правкой файла и проверкой по сервису, ссылку на который дал выше, лучше убедиться самому, чем слушать Пашу.

 

И ещё..

Для ботв иногда закрывают в htaccess

Проверяемых наличие похожего кода

Если нашли кмментим или удаляем

RewriteEngine on
   SetEnvIfNoCase User-Agent "...." bad_bot

   <Limit GET POST HEAD>
   order allow,deny
   allow from all
   deny from env=bad_bot
   </Limit>

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
2 часа назад, Pascha сказал:

А в чем разница? Робот тхт мало чем меняется от версии к версии

+ все решается правкой файла и проверкой по сервису, ссылку на который дал выше, лучше убедиться самому, чем слушать Пашу.

 

И ещё..

Для ботв иногда закрывают в htaccess

Проверяемых наличие похожего кода

Если нашли кмментим или удаляем


RewriteEngine on
   SetEnvIfNoCase User-Agent "...." bad_bot

   <Limit GET POST HEAD>
   order allow,deny
   allow from all
   deny from env=bad_bot
   </Limit>

Роботс, как я понял, должен примерно так выглядеть?

 

Спойлер

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /login
Disallow: /affiliate-login
Disallow: /request-return
Disallow: /rekvizity.html
Disallow: /politika-bezopasnosti.html
Disallow: /shopping-cart
Disallow: /compare-products
Disallow: /vouchers
Disallow: /forgot-password
Disallow: /search
Disallow: /create-affiliate-account
Disallow: /affiliate-forgot-password
Disallow: /contact-us
Disallow: /*?*filter_*=*
Disallow: /rekvizity

Clean-param: tracking&limit&order&sort /*

#All
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /login
Disallow: /affiliate-login
Disallow: /request-return
Disallow: /rekvizity.html
Disallow: /politika-bezopasnosti.html
Disallow: /shopping-cart
Disallow: /compare-products
Disallow: /vouchers
Disallow: /forgot-password
Disallow: /search
Disallow: /create-affiliate-account
Disallow: /affiliate-forgot-password
Disallow: /contact-us
Disallow: /rekvizity
Disallow: /*?*sort=*
Disallow: /*?*order=*
Disallow: /*?*limit=*
Disallow: /*?*filter_*=*
Disallow: /*?*tracking=*
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Allow: /catalog/view/javascript/*/
Allow: /catalog/view/theme/*/
Allow: /catalog/view/javascript/*.js*
Allow: /catalog/view/javascript/*.css*
Allow: /catalog/view/javascript/jquery/*
Allow: /catalog/view/theme/default/stylesheet/*.css*
Allow: /image/cache/*.jpg*
Allow: /image/cache/*.png*
Allow: /image/cache/*.gif*
Allow: /image/cache/catalog/*.jpg*
Allow: /image/cache/catalog/*.png* 
Allow: /catalog/view/javascript/bootstrap/js/bootstrap.min.js
Allow: /catalog/view/javascript/buildmenu/js/buildmenu-1.0.min.js

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.