Роботс-txt и вопросы иже с ним...

[wwizard]

Есть сайт: сайт

Сайт на ocStore 2.3.0.2.4

Файл роботс:

Скрытый текст

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Disallow: /*?filter_tag=
Disallow: /*brands
Disallow: /*specials
Disallow: /*simpleregister
Disallow: /*simplecheckout
Disallow: *utm=
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

 

 

Сайтмапы - добавлены в гугл консоль - все читаются, нормально.

Но при этом создав гугл фид - для выгрузки в гугл мерчендат, я получаю такие показатели:

Скрытый текст

 

Индексирование страниц:

Скрытый текст

 

Те что проиндексированы:

Скрытый текст

 

А вот не проиндексированных намного больше:

И непонятно что ему НЕ нравится:

Скрытый текст

Индексирование страницы запрещено тегом noindex

При том что это обычные товары

Скрытый текст

 

Вот некоторые ссылки с этого списка:

Скрытый текст

https://domaster.od.ua/konditsioner-tcl-tac-12chsd-xab1i-inv-r32-wi-fi-optsiya

https://domaster.od.ua/tcl-fma-09crd-dvi-kassetnyj-vnutrennij-blok

https://domaster.od.ua/konditsioner-aux-asw-h24a4-far1

https://domaster.od.ua/mitsubishi-electric-msz-ln60vg2w-muz-ln60vg

 

идем дальше по отчету не проиндексировано

Скрытый текст

 

Тут если зайти в него мы видим: ссылки странные - но которые существуют

 

Скрытый текст

 

Страница с переадресацией

Скрытый текст

 

И в ней: (может конечно так и должно быть)

Скрытый текст

 

Индексирование страниц -> Не найдено (404)

Скрытый текст

 

Ссылки в ней: (некоторые примеры)

Скрытый текст

https://domaster.od.ua/konditsioner-olmo-osh-10ld7w

https://domaster.od.ua/tovary/konditsionery/gree/konditsioner-gree-gwh12acb-k3nna1a

https://domaster.od.ua/products/cooperhunter/naruzhnaja-temperatura-ot/-30/

https://domaster.od.ua/konditsioner-daikin-ftxb-25-c-rxb-25-c

https://domaster.od.ua/konditsioner-olmo-osh-08ld7w

https://domaster.od.ua/konditsioner-aux-asw-h09b4-jer3di

https://domaster.od.ua/konditsioner-tcl-tac-07chsa-xa31-on-off

 

Страница просканирована - но не проиндексирована - вообще непонятно как такое возможно

Скрытый текст

 

Что видим в ней:

50 страниц как категорий так и товаров - всего понемногу

Скрытый текст

https://domaster.od.ua/ru/products/kondicioner-olmo/

https://domaster.od.ua/ru/konditsioner-luberg-deluxe-lsr-12hd

https://domaster.od.ua/ru/konditsioner-luberg-deluxe-lsr-12hd

https://domaster.od.ua/ru/konditsioner-gree-gwh12aac-k6dna4d

https://domaster.od.ua/ru/konditsioner-cooperhunter-ch-s09ftxn-pw

https://domaster.od.ua/ru/products/?page=7

https://domaster.od.ua/ru/kotli-otoplenia/?page=21

https://domaster.od.ua/kotli-otoplenia/boiler/?page=2

https://domaster.od.ua/ru/bojler-elektricheskij-bosch-tr-2000-t-150-b

https://domaster.od.ua/ru/bojler-elektricheskij-drazice-okce-125

 

Ну и напоследок: Проблемы с представлением страниц в результатах поиска

Скрытый текст

 

И что мы видим в ней: - проиндексировано - хоть и заблокировано от индексирования - как так то???

Скрытый текст

 

 

И вот как понять - чего не нравиться гугл Консоли от сайта?

[clarionio]

У вас немає проблем як таких, гугл не викидає у видачу сторінки по багатьом причинами (залежить від авторитету домена до унікальності контенту). Те що показані ті що заблоковані robots (там де є get-параметри такі як sort та limit) означає що вони були проіндексовані раніше але зараз їх вже не можна індексувати (заборонено ж) тому пошуковик їх і випльовує