Jump to content

Recommended Posts

сайт упал и яндекс пишет что робот заблокировал все, ранее проиндексированные страницы... из robots.txt удалила строку

Disallow:/

это же из за нее так получилось? Через какое время ПС вновь покажут весь сайт и есть ли еще ошибки в этом файле...?

User-agent: *
Allow: /image/cache/data/
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=


User-agent: Yandex
Allow: /image/cache/data/
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=


Host: ______
Sitemap: _______


User-agent: Googlebot-Image
Allow: /image/cache/data/


User-agent: YandexImagesAllow: /image/cache/data/ 

Share this post


Link to post
Share on other sites

проверьте файл  в сервисах webmaster

Share this post


Link to post
Share on other sites

проверьте файл  в сервисах webmaster

проверяла... и с Disallow:/ и без нее пишет что разрешен вход на главную... Но тем не менее пишет: загружено роботом 454, ниже - исключено роботом 454 

Share this post


Link to post
Share on other sites

в Яндекс.Вебмастере четко написано в исключенных страницах:

Часто индексирование страниц намеренно запрещается вебмастером – это не является ошибкой и исправления не требует. Иногда могут возникать неполадки на стороне вашего сервера или сайта, что ведет к нежелательному исключению страниц, в этом случае проблему рекомендуется устранить.

одной из причин может быть отсутствие текста (описания) на странице товара

 

откройте ПС (гугл, яндекс и тд) и введите запрос site:сайт - покажет проиндексированные данной ПС страницы сайта

Share this post


Link to post
Share on other sites

С вопросом не связано но директива Allow должна идти после Disallow

Share this post


Link to post
Share on other sites

в Яндекс.Вебмастере четко написано в исключенных страницах:

одной из причин может быть отсутствие текста (описания) на странице товара

 

откройте ПС (гугл, яндекс и тд) и введите запрос site:сайт - покажет проиндексированные данной ПС страницы сайта

в гугле результатов около 800 , в яндексе - 1 страница ..... как такое возможно, не пойму...

Share this post


Link to post
Share on other sites

У меня такая же проблема.

Яндекс исключил около 3500 страниц и у них у всех путь http://ceramist.biz/image/cache/data/keramika/7021-f1-228x228.jpg

Несколько раз подымал этот вопрос на форуме, или никто не знает или не хотят делиться опытом.

Возможно автор понял почему яндекс так себя ведет с этими картинками и почему он каждой такой странице 404 присваивает, и почему она вообще там появляется. Подскажите.

User-agent: *Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category




User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category


Host: ceramist.biz

Share this post


Link to post
Share on other sites

ссылка на картинку из кеша, который очистил, или ее там нет..

Share this post


Link to post
Share on other sites

в гугле результатов около 800 , в яндексе - 1 страница ..... как такое возможно, не пойму...

Вероятнее всего сайт попал под АГС. Тиц изменился?

Share this post


Link to post
Share on other sites

ссылка на картинку из кеша, который очистил, или ее там нет..

А что с этим делать? вебмастер говорит что в поиске страниц меньше чем исключенных

Share this post


Link to post
Share on other sites

У меня такая же проблема была, решил следующим robots.txt
 

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /sale/
Disallow: /checkout/

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /sale/
Disallow: /checkout/

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Я убрал Dissalow: /catalog
Закрыл все get запросы Disallow: /?
B открыл картинки, js, css
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

Share this post


Link to post
Share on other sites

На Opencart 2 подобное тоже решалось вот таким robots

User-agent: *

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /banner
Disallow: /extensions
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*&manufacturer_filter=
Disallow: /*?manufacturer_filter=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Googlebot

Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

User-agent: Yandex

Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.