Сканирование разрешено? warning Нет: заблокировано в robots.txt

[KAndrey]

Вітаю.

Допоможіть розібратись. 

Є пласт сторінок, що проскановані, проте заборонені у роботс.

Валідатор роботс, каже все ок.

Посилання на звичайний товар, проте по ньому помилка.

роботс:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Disallow: /*?filter_tag=
Disallow: /*specials
Disallow: /*simpleregister
Disallow: /*simplecheckout
Disallow: *utm=
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

User-agent: DataForSeoBot
Disallow: /

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Disallow: /*?filter_tag=
Disallow: /*specials
Disallow: /*simpleregister
Disallow: /*simplecheckout
Disallow: *utm=
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

Sitemap: https://www.pyn.com.ua/fx-sitemap
Sitemap: https://www.pyn.com.ua/fx-sitemap?part=0.1
Sitemap: https://www.pyn.com.ua/fx-sitemap?part=1
Sitemap: https://www.pyn.com.ua/fx-sitemap?part=2
Sitemap: https://www.pyn.com.ua/fx-sitemap?part=3
Sitemap: https://www.pyn.com.ua/fx-sitemap?part=4
Sitemap: https://www.pyn.com.ua/fx-sitemap?part=5
Sitemap: https://www.pyn.com.ua/ocfilter-sitemap

User-agent: AhrefsSiteAudit
Allow: /

User-agent: Googlebot-image
Disallow:

безпосередньо товар

ocStore 3.0.2.0

Ultrastore

дякую

Змінено 14 лютого користувачем KAndrey

[SSHEVA]

А раніше сайт закривали від індексу?

[KAndrey]

14.02.2024 в 17:37, SSHEVA сказал:

А раніше сайт закривали від індексу?

ні,але 10+ років працює

було багато змін в процессі

[SSHEVA]

В 14.02.2024 в 17:39, KAndrey сказав:

ні,але 10+ років працює

було багато змін в процессі

Потрібно тоді подивитись який саме роботс баче пошук, якщо хочете можу глянути

[KAndrey]

14.02.2024 в 17:42, SSHEVA сказал:

Потрібно тоді подивитись який саме роботс баче пошук, якщо хочете можу глянути

буду вдячний

роботс

[SSHEVA]

Напишіть в Особисті повідомлення як з вами звязатися, потрібно буде доступ також до консолі гугл

[NotSlow]

Таких проблемных страниц много или единичные?

 

Единственная зацепка:

Disallow: /*login

pyn.com.ua/dlja-smartfonov-ru/nabory-dlja-vloginga-ru/komplekt-blogera-mamen-vlogging-kit-kit-05lm-ru.html

 

Вроде как не должно, но кто знает этот гугл...

Самое простое - это попробовать на время убрать все из robots.txt и посмотреть что изменится.

Змінено 14 лютого користувачем NotSlow