Перейти к содержанию

Рекомендуемые сообщения

сайт упал и яндекс пишет что робот заблокировал все, ранее проиндексированные страницы... из robots.txt удалила строку

Disallow:/

это же из за нее так получилось? Через какое время ПС вновь покажут весь сайт и есть ли еще ошибки в этом файле...?

User-agent: *
Allow: /image/cache/data/
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=


User-agent: Yandex
Allow: /image/cache/data/
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=


Host: ______
Sitemap: _______


User-agent: Googlebot-Image
Allow: /image/cache/data/


User-agent: YandexImagesAllow: /image/cache/data/ 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

проверьте файл  в сервисах webmaster

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

проверьте файл  в сервисах webmaster

проверяла... и с Disallow:/ и без нее пишет что разрешен вход на главную... Но тем не менее пишет: загружено роботом 454, ниже - исключено роботом 454 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

в Яндекс.Вебмастере четко написано в исключенных страницах:

Часто индексирование страниц намеренно запрещается вебмастером – это не является ошибкой и исправления не требует. Иногда могут возникать неполадки на стороне вашего сервера или сайта, что ведет к нежелательному исключению страниц, в этом случае проблему рекомендуется устранить.

одной из причин может быть отсутствие текста (описания) на странице товара

 

откройте ПС (гугл, яндекс и тд) и введите запрос site:сайт - покажет проиндексированные данной ПС страницы сайта

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

С вопросом не связано но директива Allow должна идти после Disallow

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

в Яндекс.Вебмастере четко написано в исключенных страницах:

одной из причин может быть отсутствие текста (описания) на странице товара

 

откройте ПС (гугл, яндекс и тд) и введите запрос site:сайт - покажет проиндексированные данной ПС страницы сайта

в гугле результатов около 800 , в яндексе - 1 страница ..... как такое возможно, не пойму...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У меня такая же проблема.

Яндекс исключил около 3500 страниц и у них у всех путь http://ceramist.biz/image/cache/data/keramika/7021-f1-228x228.jpg

Несколько раз подымал этот вопрос на форуме, или никто не знает или не хотят делиться опытом.

Возможно автор понял почему яндекс так себя ведет с этими картинками и почему он каждой такой странице 404 присваивает, и почему она вообще там появляется. Подскажите.

User-agent: *Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category




User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category


Host: ceramist.biz

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ссылка на картинку из кеша, который очистил, или ее там нет..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

в гугле результатов около 800 , в яндексе - 1 страница ..... как такое возможно, не пойму...

Вероятнее всего сайт попал под АГС. Тиц изменился?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ссылка на картинку из кеша, который очистил, или ее там нет..

А что с этим делать? вебмастер говорит что в поиске страниц меньше чем исключенных

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У меня такая же проблема была, решил следующим robots.txt
 

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /sale/
Disallow: /checkout/

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /sale/
Disallow: /checkout/

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Я убрал Dissalow: /catalog
Закрыл все get запросы Disallow: /?
B открыл картинки, js, css
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

На Opencart 2 подобное тоже решалось вот таким robots

User-agent: *

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /banner
Disallow: /extensions
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*&manufacturer_filter=
Disallow: /*?manufacturer_filter=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Googlebot

Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

User-agent: Yandex

Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.