Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

нужна помощь с robots.txt


Рекомендованные сообщения

сайт упал и яндекс пишет что робот заблокировал все, ранее проиндексированные страницы... из robots.txt удалила строку

Disallow:/

это же из за нее так получилось? Через какое время ПС вновь покажут весь сайт и есть ли еще ошибки в этом файле...?

User-agent: *
Allow: /image/cache/data/
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=


User-agent: Yandex
Allow: /image/cache/data/
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=


Host: ______
Sitemap: _______


User-agent: Googlebot-Image
Allow: /image/cache/data/


User-agent: YandexImagesAllow: /image/cache/data/ 
Ссылка на комментарий
Поделиться на других сайтах


проверьте файл  в сервисах webmaster

проверяла... и с Disallow:/ и без нее пишет что разрешен вход на главную... Но тем не менее пишет: загружено роботом 454, ниже - исключено роботом 454 

Ссылка на комментарий
Поделиться на других сайтах


в Яндекс.Вебмастере четко написано в исключенных страницах:

Часто индексирование страниц намеренно запрещается вебмастером – это не является ошибкой и исправления не требует. Иногда могут возникать неполадки на стороне вашего сервера или сайта, что ведет к нежелательному исключению страниц, в этом случае проблему рекомендуется устранить.

одной из причин может быть отсутствие текста (описания) на странице товара

 

откройте ПС (гугл, яндекс и тд) и введите запрос site:сайт - покажет проиндексированные данной ПС страницы сайта

Ссылка на комментарий
Поделиться на других сайтах

в Яндекс.Вебмастере четко написано в исключенных страницах:

одной из причин может быть отсутствие текста (описания) на странице товара

 

откройте ПС (гугл, яндекс и тд) и введите запрос site:сайт - покажет проиндексированные данной ПС страницы сайта

в гугле результатов около 800 , в яндексе - 1 страница ..... как такое возможно, не пойму...

Ссылка на комментарий
Поделиться на других сайтах


  • 1 год спустя...

У меня такая же проблема.

Яндекс исключил около 3500 страниц и у них у всех путь http://ceramist.biz/image/cache/data/keramika/7021-f1-228x228.jpg

Несколько раз подымал этот вопрос на форуме, или никто не знает или не хотят делиться опытом.

Возможно автор понял почему яндекс так себя ведет с этими картинками и почему он каждой такой странице 404 присваивает, и почему она вообще там появляется. Подскажите.

User-agent: *Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category




User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category


Host: ceramist.biz
Ссылка на комментарий
Поделиться на других сайтах


ссылка на картинку из кеша, который очистил, или ее там нет..

Ссылка на комментарий
Поделиться на других сайтах

в гугле результатов около 800 , в яндексе - 1 страница ..... как такое возможно, не пойму...

Вероятнее всего сайт попал под АГС. Тиц изменился?

Ссылка на комментарий
Поделиться на других сайтах


ссылка на картинку из кеша, который очистил, или ее там нет..

А что с этим делать? вебмастер говорит что в поиске страниц меньше чем исключенных

Ссылка на комментарий
Поделиться на других сайтах


У меня такая же проблема была, решил следующим robots.txt
 

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /sale/
Disallow: /checkout/

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /sale/
Disallow: /checkout/

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Я убрал Dissalow: /catalog
Закрыл все get запросы Disallow: /?
B открыл картинки, js, css
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

Ссылка на комментарий
Поделиться на других сайтах

На Opencart 2 подобное тоже решалось вот таким robots

User-agent: *

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /banner
Disallow: /extensions
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*&manufacturer_filter=
Disallow: /*?manufacturer_filter=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Googlebot

Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

User-agent: Yandex

Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

Sitemap: http://domain.com/index.php?route=feed/google_sitemap
Ссылка на комментарий
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу.
×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.