Помогите пожалуйста разобраться, наверное robots

[Anna100]

Посмотрите пожалуйста правильно ли составлен robots.txt . Гугл почти полсайта не индексирует http://joxi.ru/Q2KDMaXI9GbRwA или в чем может быть ошибка?  Буду очень благодарна! 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

[Anna100]

так посмотрите что именно заблокировано и подумайте, надо ли оно вам и почему

Мне главное, чтобы карточки товаров, категории и главная были в индексе. Смущает Disallow: /catalog и Disallow: /index.php?route=product/product*&manufacturer_id= , но читала здесь на форуме, что их надо закрывать

[n3bo]

А сколько должно быть? Карту сайта дали?

[Anna100]

А сколько должно быть? Карту сайта дали?

более 700, точно не знаю где смотреть. Карта сайта здесь 

http://kukolky.com.ua/sitemap/

 

Было и 1200, значит больше http://joxi.ru/Q2KDMaXI9GbRwA  Сайт попал в руки в начале марта и что с ним делалось не знаю, но вроде как ничего не удалялось

Змінено 18 березня 2016 користувачем Anna100

[Anna100]

все в ваших руках. Действуйте

только вот не совсем понимаю какие действия должны быть сейчас. У меня есть доступ только к админке Опенкарта и кабинетам вебмаров гугл и яндекс. Я не уверена что проблема в роботсе, но тогда в чем? :) 

[neonox]

В google webmasters зайдите в Индекс Google -> Заблокированные ресурсы и там увидите страницы, которые заблокировал гугл

[hoolygan]

Давайте так, вебмастере гугла зайдите в раздел сайтмап - и посмотрите, что там, в идеале - сколько отправлено - столько и проиндексировано.

А ваша картинка может говорить о многом, включая страницы корзинки с разным содержимым, страницы поиска, пока он незакрыт был и многое другое.

Она (картинка Ваша первая) толком ни о чем не говорит по сути.

[Anna100]

В google webmasters зайдите в Индекс Google -> Заблокированные ресурсы и там увидите страницы, которые заблокировал гугл

Спасибо огромное. Прошла и результат такой http://joxi.ru/5mdNZaRsvZkLDA Когда прохожу по ссылкам, то там есть заблокированные карточки товаров и категории http://joxi.ru/p276dXwh0jodZm .  Теперь как узнать причину блокировки? ( Или это все-таки роботс запрещает?  Disallow: /catalog ) Если для вас это глупые вопросы, то прошу прощения

[Anna100]

Давайте так, вебмастере гугла зайдите в раздел сайтмап - и посмотрите, что там, в идеале - сколько отправлено - столько и проиндексировано.

А ваша картинка может говорить о многом, включая страницы корзинки с разным содержимым, страницы поиска, пока он незакрыт был и многое другое.

Она (картинка Ваша первая) толком ни о чем не говорит по сути.

Чуть выше скриншоты отправила заблокированных ресурсов. Сегодня отправила сайтмап на добавление/проверку  http://joxi.ru/bmo678NhMEx1Kr и пишет что отправлено 1019 страниц на проверку. Теперь думаю, что может удалить пока

[hoolygan]

Нет, вот как раз удалять не нужно, если сайтмап делается правильно, то как раз это поисковикам и нужно. Теперь тот же гугл, будет индексировать Ваш сайт не только по собственным кликам, а еще и с сайтмапа, что намного быстрее. Если это в первый раз вы ему отправляли - то ожидайте недельку - там он уже покажет, что индексировано, а что нет.

 

И еще, после

Disallow: /catalog

 

Дописать желательно вот эти 2 строчки

Allow: /catalog/view/theme/default/stylesheet
Allow: /catalog/view/javascript

(Это если у Вас дефолт, на скрине как раз дефолт шаблон)

 

Это потому, что гугл любит смотреть на сайт как человек, строя полноценную страницу.

Змінено 18 березня 2016 користувачем hoolygan

[Anna100]

Нет, вот как раз удалять не нужно, если сайтмап делается правильно, то как раз это поисковикам и нужно. Теперь тот же гугл, будет индексировать Ваш сайт не только по собственным кликам, а еще и с сайтмапа, что намного быстрее. Если это в первый раз вы ему отправляли - то ожидайте недельку - там он уже покажет, что индексировано, а что нет.

 

И еще, после

Disallow: /catalog

 

Дописать желательно вот эти 2 строчки

Allow: /catalog/view/theme/default/stylesheet
Allow: /catalog/view/javascript

(Это если у Вас дефолт, на скрине как раз дефолт шаблон)

 

Это потому, что гугл любит смотреть на сайт как человек, строя полноценную страницу.

А если так написать Allow: /    (видела на некоторых сайтах)

 

На сколько я понимаю , этой командой мы закрываем индексацию каталога Disallow: /catalog , а все необходимое у нас как раз там и лежит http://joxi.ru/p276dXwh0jodZm

Змінено 18 березня 2016 користувачем Anna100

[hoolygan]

не, не нужно, это разблокирует все, и будет хуже только

[Anna100]

не, не нужно, это разблокирует все, и будет хуже только

На сколько я понимаю , этой командой Disallow: /catalog мы закрываем индексацию каталога  , а все необходимое у нас как раз там и лежит http://joxi.ru/p276dXwh0jodZm

 

а это нормально что сайтмап выглядит домен/index.php?route=feed/google_sitemap

Змінено 18 березня 2016 користувачем Anna100

[n3bo]

На сколько я понимаю , этой командой Disallow: /catalog мы закрываем индексацию каталога  , а все необходимое у нас как раз там и лежит http://joxi.ru/p276dXwh0jodZm

Нет

 

а это нормально что сайтмап выглядит домен/index.php?route=feed/google_sitemap

Да

[Anna100]

Нет

 

 

Да

спасибо

[n3bo]

спасибо

Вы можете проверить какие страницы у вас открыты и закрыты для индексации в вебмастере. Вставляете ссылку- кликаете Проверить.

[Anna100]

Нет

 

 

Да

значит сейчас надо ждать, когда гугл проверит сайтмап и только тогда можно будет что-то видеть? А как узнать, почему гугл заблокировал  страницы с карточками товаров и категории ? http://joxi.ru/BA0nDKwuBKJWvm

[hoolygan]

Ну как минимум нажать на стрелочку справа и посмотреть что ему не понравилось ))

[Anna100]

Ну как минимум нажать на стрелочку справа и посмотреть что ему не понравилось ))

Спасибо, увидела http://joxi.ru/J2bNLKZs4L0Nv2 и когда прошла я проверить роботс, то получается что роботс запрещает индексировать http://joxi.ru/vAWRwNGukXgNe2 

 

Подскажите, команда Allow: /catalog/view/theme/default/stylesheet    и     Allow: /catalog/view/javascript     сможет вернуть в индекс или нужны другие меры? Если последнее, то что?

[hoolygan]

Да, вернет, но не сразу. Сначала гугл должен переиндексировать эти товары, потом обновить свою бд. Так что делайте так и наберитесь терпения. Все у Вас будет :)

И еще, товары эти в индексе есть, но гугл не видит полную картину страницы, вот и ругается.

Змінено 18 березня 2016 користувачем hoolygan

[Anna100]

Да, вернет, но не сразу. Сначала гугл должен переиндексировать эти товары, потом обновить свою бд. Так что делайте так и наберитесь терпения. Все у Вас будет :)

И еще, товары эти в индексе есть, но гугл не видит полную картину страницы, вот и ругается.

а когда начнется возврат всего т.е. когда проверять в этом ли была ошибка или что-то надо еще делать?

[hoolygan]

Дайте хоть недельку другую, и проверяйте количество заблокированых ресурсов.

[Anna100]

Дайте хоть недельку другую, и проверяйте количество заблокированых ресурсов.

большое спасибо!!!

[n3bo]

Может кто подскажет заодно и мне)

Было загружено яндексом более 7000 страниц /search/*

Закрыл в ротоботс /search/

Спустя неделю количество загруженных уменьшилось до 4000, почему так?) Или еще подождать

[Anna100]

Дайте хоть недельку другую, и проверяйте количество заблокированых ресурсов.

Здравствуйте! Спасибо за помощь, страницы сайта удаляются из раздела "заблокированные ресурсы" и видимость сайта начала увеличиваться. Помогла команда allow.

Но

1. обнаружила, что есть еще в поиске страницы с внутреннего поиска сайта по тегам. Стоит ли в роботс добавить Disallow: /*search 

 

2. нужно ли разрешить отдельно доступ к папке system/cache/seocmspro.css т.к. сейчас количество заблокированных страниц здесь увеличивается (и видела, что на некоторых сайтах разрешение отдельно стоит)?