Anna100

Помогите пожалуйста разобраться, наверное robots

Рекомендуемые сообщения

Anna100    0

Посмотрите пожалуйста правильно ли составлен robots.txt . Гугл почти полсайта не индексирует http://joxi.ru/Q2KDMaXI9GbRwA или в чем может быть ошибка?  Буду очень благодарна! 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nikifalex    361

так посмотрите что именно заблокировано и подумайте, надо ли оно вам и почему

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

так посмотрите что именно заблокировано и подумайте, надо ли оно вам и почему

Мне главное, чтобы карточки товаров, категории и главная были в индексе. Смущает Disallow: /catalog и Disallow: /index.php?route=product/product*&manufacturer_id= , но читала здесь на форуме, что их надо закрывать

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
n3bo    188

А сколько должно быть? Карту сайта дали?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

А сколько должно быть? Карту сайта дали?

более 700, точно не знаю где смотреть. Карта сайта здесь 

 

Было и 1200, значит больше http://joxi.ru/Q2KDMaXI9GbRwA  Сайт попал в руки в начале марта и что с ним делалось не знаю, но вроде как ничего не удалялось

Изменено пользователем Anna100

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nikifalex    361

все в ваших руках. Действуйте

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

все в ваших руках. Действуйте

только вот не совсем понимаю какие действия должны быть сейчас. У меня есть доступ только к админке Опенкарта и кабинетам вебмаров гугл и яндекс. Я не уверена что проблема в роботсе, но тогда в чем? :) 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
neonox    17

В google webmasters зайдите в Индекс Google -> Заблокированные ресурсы и там увидите страницы, которые заблокировал гугл

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
hoolygan    84

Давайте так, вебмастере гугла зайдите в раздел сайтмап - и посмотрите, что там, в идеале - сколько отправлено - столько и проиндексировано.

А ваша картинка может говорить о многом, включая страницы корзинки с разным содержимым, страницы поиска, пока он незакрыт был и многое другое.

Она (картинка Ваша первая) толком ни о чем не говорит по сути.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

В google webmasters зайдите в Индекс Google -> Заблокированные ресурсы и там увидите страницы, которые заблокировал гугл

Спасибо огромное. Прошла и результат такой http://joxi.ru/5mdNZaRsvZkLDA Когда прохожу по ссылкам, то там есть заблокированные карточки товаров и категории http://joxi.ru/p276dXwh0jodZm .  Теперь как узнать причину блокировки? ( Или это все-таки роботс запрещает?  Disallow: /catalog ) Если для вас это глупые вопросы, то прошу прощения

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

Давайте так, вебмастере гугла зайдите в раздел сайтмап - и посмотрите, что там, в идеале - сколько отправлено - столько и проиндексировано.

А ваша картинка может говорить о многом, включая страницы корзинки с разным содержимым, страницы поиска, пока он незакрыт был и многое другое.

Она (картинка Ваша первая) толком ни о чем не говорит по сути.

Чуть выше скриншоты отправила заблокированных ресурсов. Сегодня отправила сайтмап на добавление/проверку  http://joxi.ru/bmo678NhMEx1Kr и пишет что отправлено 1019 страниц на проверку. Теперь думаю, что может удалить пока

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
hoolygan    84

Нет, вот как раз удалять не нужно, если сайтмап делается правильно, то как раз это поисковикам и нужно. Теперь тот же гугл, будет индексировать Ваш сайт не только по собственным кликам, а еще и с сайтмапа, что намного быстрее. Если это в первый раз вы ему отправляли - то ожидайте недельку - там он уже покажет, что индексировано, а что нет.

 

И еще, после

Disallow: /catalog

 

Дописать желательно вот эти 2 строчки

Allow: /catalog/view/theme/default/stylesheet
Allow: /catalog/view/javascript

(Это если у Вас дефолт, на скрине как раз дефолт шаблон)

 

Это потому, что гугл любит смотреть на сайт как человек, строя полноценную страницу.

Изменено пользователем hoolygan

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

Нет, вот как раз удалять не нужно, если сайтмап делается правильно, то как раз это поисковикам и нужно. Теперь тот же гугл, будет индексировать Ваш сайт не только по собственным кликам, а еще и с сайтмапа, что намного быстрее. Если это в первый раз вы ему отправляли - то ожидайте недельку - там он уже покажет, что индексировано, а что нет.

 

И еще, после

Disallow: /catalog

 

Дописать желательно вот эти 2 строчки

Allow: /catalog/view/theme/default/stylesheet
Allow: /catalog/view/javascript

(Это если у Вас дефолт, на скрине как раз дефолт шаблон)

 

Это потому, что гугл любит смотреть на сайт как человек, строя полноценную страницу.

А если так написать Allow: /    (видела на некоторых сайтах)

 

На сколько я понимаю , этой командой мы закрываем индексацию каталога Disallow: /catalog , а все необходимое у нас как раз там и лежит http://joxi.ru/p276dXwh0jodZm

Изменено пользователем Anna100

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
hoolygan    84

не, не нужно, это разблокирует все, и будет хуже только

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

не, не нужно, это разблокирует все, и будет хуже только

На сколько я понимаю , этой командой Disallow: /catalog мы закрываем индексацию каталога  , а все необходимое у нас как раз там и лежит http://joxi.ru/p276dXwh0jodZm

 

а это нормально что сайтмап выглядит домен/index.php?route=feed/google_sitemap

Изменено пользователем Anna100

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
n3bo    188

На сколько я понимаю , этой командой Disallow: /catalog мы закрываем индексацию каталога  , а все необходимое у нас как раз там и лежит http://joxi.ru/p276dXwh0jodZm

Нет

 

а это нормально что сайтмап выглядит домен/index.php?route=feed/google_sitemap

Да

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
n3bo    188

спасибо

Вы можете проверить какие страницы у вас открыты и закрыты для индексации в вебмастере. Вставляете ссылку- кликаете Проверить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

Нет

 
 

Да

значит сейчас надо ждать, когда гугл проверит сайтмап и только тогда можно будет что-то видеть? А как узнать, почему гугл заблокировал  страницы с карточками товаров и категории ? http://joxi.ru/BA0nDKwuBKJWvm

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
hoolygan    84

Ну как минимум нажать на стрелочку справа и посмотреть что ему не понравилось ))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

Ну как минимум нажать на стрелочку справа и посмотреть что ему не понравилось ))

Спасибо, увидела http://joxi.ru/J2bNLKZs4L0Nv2 и когда прошла я проверить роботс, то получается что роботс запрещает индексировать http://joxi.ru/vAWRwNGukXgNe2 

 

Подскажите, команда Allow: /catalog/view/theme/default/stylesheet    и     Allow: /catalog/view/javascript     сможет вернуть в индекс или нужны другие меры? Если последнее, то что?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
hoolygan    84

Да, вернет, но не сразу. Сначала гугл должен переиндексировать эти товары, потом обновить свою бд. Так что делайте так и наберитесь терпения. Все у Вас будет :)

И еще, товары эти в индексе есть, но гугл не видит полную картину страницы, вот и ругается.

Изменено пользователем hoolygan

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

Да, вернет, но не сразу. Сначала гугл должен переиндексировать эти товары, потом обновить свою бд. Так что делайте так и наберитесь терпения. Все у Вас будет :)

И еще, товары эти в индексе есть, но гугл не видит полную картину страницы, вот и ругается.

а когда начнется возврат всего т.е. когда проверять в этом ли была ошибка или что-то надо еще делать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
hoolygan    84

Дайте хоть недельку другую, и проверяйте количество заблокированых ресурсов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Anna100    0

Дайте хоть недельку другую, и проверяйте количество заблокированых ресурсов.

большое спасибо!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу