Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Google не индексирует страницы из-за запрета в robots.txt (где убрать запрет)


Exer

Recommended Posts

Здравствуйте.

 Недавно гугл бот просканировал сайт, но в индекс не "выложил". Я проверил через Search Console как отдельно страницы товаров так и категории, показывает в отчете что запрещены для добавление в индекс. Причина запрета  пишет - файл роботс. 

Ниже мой файл. Что тут поменять?

Спойлер

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /admin/index.php?route=common/login
Disallow: /admin/index.php?route=common/
Disallow: /system
Disallow: /search/
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Allow: /catalog/view/*/

User-agent: Yandex
Disallow: /

User-agent: Yahoo
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: AhrefsBot/5.1
Disallow: /
 
User-agent: AhrefsBot/5.2
Disallow: /
 
User-agent: AhrefsBot/1.0
Disallow: /
 
User-agent: AhrefsBot/2.0
Disallow: /
 
User-agent: AhrefsBot/3.0
Disallow: /
 
User-agent: AhrefsBot/4.0
Disallow: /
 
User-agent: AhrefsBot/5.0
Disallow: /
 
User-agent: AhrefsBot/3.1
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: MJ12bot/v1.4.3
Disallow: /
 
User-agent: MJ12bot/v1.4.0
Disallow: /
 
User-agent: MJ12bot/v1.2.4
Disallow: /
 
User-agent: MJ12bot/v1.2.3
Disallow: /
 
User-agent: MJ12bot/v1.0.8
Disallow: /
 
User-agent: MJ12bot/v1.0.7
Disallow: /
 
User-agent: MJ12bot/v1.0.6
Disallow: /
 
User-agent: MJ12bot/v1.0.5
Disallow: /
 
User-agent: MJ12bot/v1.4.5
Disallow: /
 
User-agent: MJ12bot/v1.4.6
Disallow: /
 
User-agent: MJ12bot/v1.4.7
Disallow: /
 
User-agent: MJ12bot/v1.4.8
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: SemrushBot/1.1~bl
Disallow: /
 
User-agent: SemrushBot/1.1
Disallow: / 

Host: https://www.мойсайт/
Sitemap: https://мойсайт/fx-sitemap

 

Надіслати
Поділитися на інших сайтах


Полностью робот поменять. У тебя в фале полный запрет к индексу и не одной открытой команды.

Лови пример нормального робота для гугла опенкарт только под другие модули

User-Agent: Googlebot
Disallow: /admin
Disallow: /search
Disallow: /system
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /simplecheckout
Allow: */image/
Allow: /image/
Allow: */image
Allow: */*.js
Allow: */*.css
Allow: */*.png
Allow: */*.jpg
Allow: */*.jpeg
Allow: */*.JPG
Allow: */*.woff
Allow: */*.ttf

Host: https://www.мойсайт/
Sitemap: https://мойсайт/fx-sitemap

 

  • +1 1
Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.