Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

нужна помощь с robots.txt

certa
 Share

Recommended Posts

certa Enthusiast

certa

Опубліковано:
Опубліковано:

сайт упал и яндекс пишет что робот заблокировал все, ранее проиндексированные страницы... из robots.txt удалила строку

Disallow:/

это же из за нее так получилось? Через какое время ПС вновь покажут весь сайт и есть ли еще ошибки в этом файле...?

User-agent: *
Allow: /image/cache/data/
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=


User-agent: Yandex
Allow: /image/cache/data/
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=


Host: ______
Sitemap: _______


User-agent: Googlebot-Image
Allow: /image/cache/data/


User-agent: YandexImagesAllow: /image/cache/data/ 
Надіслати
Поділитися на інших сайтах

certa Enthusiast

certa

Опубліковано:
  • Автор
Опубліковано:

проверьте файл  в сервисах webmaster

проверяла... и с Disallow:/ и без нее пишет что разрешен вход на главную... Но тем не менее пишет: загружено роботом 454, ниже - исключено роботом 454 

Надіслати
Поділитися на інших сайтах

AlexDW Grand Master

AlexDW

Опубліковано:
Опубліковано:

в Яндекс.Вебмастере четко написано в исключенных страницах:

Часто индексирование страниц намеренно запрещается вебмастером – это не является ошибкой и исправления не требует. Иногда могут возникать неполадки на стороне вашего сервера или сайта, что ведет к нежелательному исключению страниц, в этом случае проблему рекомендуется устранить.

одной из причин может быть отсутствие текста (описания) на странице товара

 

откройте ПС (гугл, яндекс и тд) и введите запрос site:сайт - покажет проиндексированные данной ПС страницы сайта

Надіслати
Поділитися на інших сайтах
1

certa Enthusiast

certa

Опубліковано:
  • Автор
Опубліковано:

в Яндекс.Вебмастере четко написано в исключенных страницах:

одной из причин может быть отсутствие текста (описания) на странице товара

 

откройте ПС (гугл, яндекс и тд) и введите запрос site:сайт - покажет проиндексированные данной ПС страницы сайта

в гугле результатов около 800 , в яндексе - 1 страница ..... как такое возможно, не пойму...

Надіслати
Поділитися на інших сайтах

  • 1 year later...
Ateroid Contributor

Ateroid

Опубліковано:
Опубліковано:

У меня такая же проблема.

Яндекс исключил около 3500 страниц и у них у всех путь http://ceramist.biz/image/cache/data/keramika/7021-f1-228x228.jpg

Несколько раз подымал этот вопрос на форуме, или никто не знает или не хотят делиться опытом.

Возможно автор понял почему яндекс так себя ведет с этими картинками и почему он каждой такой странице 404 присваивает, и почему она вообще там появляется. Подскажите.

User-agent: *Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category




User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category


Host: ceramist.biz
Надіслати
Поділитися на інших сайтах

creshtal Community Regular

creshtal

Опубліковано:
Опубліковано:

в гугле результатов около 800 , в яндексе - 1 страница ..... как такое возможно, не пойму...

Вероятнее всего сайт попал под АГС. Тиц изменился?

Надіслати
Поділитися на інших сайтах

ocdev_pro Grand Master

ocdev_pro

Опубліковано:
Опубліковано:

У меня такая же проблема была, решил следующим robots.txt
 

User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /sale/
Disallow: /checkout/

User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /sale/
Disallow: /checkout/

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Я убрал Dissalow: /catalog
Закрыл все get запросы Disallow: /?
B открыл картинки, js, css
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

Надіслати
Поділитися на інших сайтах
1
1

ocdev_pro Grand Master

ocdev_pro

Опубліковано:
Опубліковано:

На Opencart 2 подобное тоже решалось вот таким robots

User-agent: *

Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /banner
Disallow: /extensions
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*&manufacturer_filter=
Disallow: /*?manufacturer_filter=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Googlebot

Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

User-agent: Yandex

Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png

Sitemap: http://domain.com/index.php?route=feed/google_sitemap
Надіслати
Поділитися на інших сайтах
1
1

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
 Share
Перейти до списку тем

  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку

Покупцям

Розробникам

Корисна інформація

Останні розширення

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.

  Я даю згоду