Jump to content
Search In
  • More options...
Find results that contain...
Find results in...

Роботс-txt и вопросы иже с ним...


wwizard
 Share

Recommended Posts

Есть сайт: сайт

Сайт на ocStore 2.3.0.2.4

Файл роботс:

Скрытый текст
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Disallow: /*?filter_tag=
Disallow: /*brands
Disallow: /*specials
Disallow: /*simpleregister
Disallow: /*simplecheckout
Disallow: *utm=
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/

 

 

Сайтмапы - добавлены в гугл консоль - все читаются, нормально.

Но при этом создав гугл фид - для выгрузки в гугл мерчендат, я получаю такие показатели:

Скрытый текст

image.thumb.png.cc3501b9f224494fc6685eaacc5f5276.png

 

Индексирование страниц:

Скрытый текст

image.thumb.png.f4daa11d2683f8c7d5a2efe99967db9e.png

 

Те что проиндексированы:

Скрытый текст

image.thumb.png.bfde6d949a1e509f92e8a7c978ddbded.png

 

А вот не проиндексированных намного больше:

И непонятно что ему НЕ нравится:

Скрытый текст

image.thumb.png.4d63b8cf95d9b32e93d23974af19d1ec.png

Индексирование страницы запрещено тегом noindex

При том что это обычные товары

Скрытый текст

image.thumb.png.b537b3738d51c98eea98786748d6cffa.png

 

Вот некоторые ссылки с этого списка:

 

идем дальше по отчету не проиндексировано

Скрытый текст

image.thumb.png.de7c5186a8ba84cb0c6e5640ab2129dc.png

 

Тут если зайти в него мы видим: ссылки странные - но которые существуют

 

Скрытый текст

image.thumb.png.e4aa502e7c19c9f79c657ecced5bf489.png

 

Страница с переадресацией

Скрытый текст

image.thumb.png.c02b48fa9e7b5e43db5f257b70b2fd9b.png

 

И в ней: (может конечно так и должно быть)

Скрытый текст

image.thumb.png.9f248db5d226957e66d19085b4eeb5c4.png

 

Индексирование страниц -> Не найдено (404)

Скрытый текст

image.thumb.png.2d9fc195da3b15db17c75510a756f244.png

 

Ссылки в ней: (некоторые примеры)

 

Страница просканирована - но не проиндексирована - вообще непонятно как такое возможно

Скрытый текст

image.thumb.png.657364703346a372236527edf9a60bc2.png

 

Что видим в ней:

50 страниц как категорий так и товаров - всего понемногу

 

Ну и напоследок: Проблемы с представлением страниц в результатах поиска

Скрытый текст

image.thumb.png.b1bdf6227a1a2e419ed224075f600e95.png

 

И что мы видим в ней: - проиндексировано - хоть и заблокировано от индексирования - как так то???

Скрытый текст

image.thumb.png.cc5d5308fdbbfa83acc53086f918a8e4.png

 

 

И вот как понять - чего не нравиться гугл Консоли от сайта?

Link to comment
Share on other sites


У вас немає проблем як таких, гугл не викидає у видачу сторінки по багатьом причинами (залежить від авторитету домена до унікальності контенту). Те що показані ті що заблоковані robots (там де є get-параметри такі як sort та limit) означає що вони були проіндексовані раніше але зараз їх вже не можна індексувати (заборонено ж) тому пошуковик їх і випльовує

Link to comment
Share on other sites


Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share

×
×
  • Create New...

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.