Бот не видит категории

[Solli]

ocStore 1.5.4.1

SEOPRO + SEOManager

НЕ проиндексировались категории - вида домен/категория/подкатегория

​но если подсунуть домен/категория/подкатегория.html - то бот видит категории.

Подскажите, в какую сторону копать?

robots.txt

.htaccsess

контроллер?

выкладываю фрагмент robots.txt

User-agent: *
Disallow: /admin
Disallow: /cart.html
Disallow: /success.html
Disallow: /account
Disallow: /new
Disallow: /specials
Disallow: /brands
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /login.html
Disallow: /my-account.html
Disallow: /address-book.html
Disallow: /edit-account.html
Disallow: /forgot-password.html
Disallow: /login.html
Disallow: /logout.html
Disallow: /newsletter.html
Disallow: /order-history.html
Disallow: /change-password.html
Disallow: /create-account.html
Disallow: /returns.html
Disallow: /transactions.html
Disallow: /wishlist.html
Disallow: /affiliates.html
Disallow: /edit-affiliate-account.html
Disallow: /affiliate-forgot-password.html
Disallow: /affiliate-login.html
Disallow: /affiliate-logout.html
Disallow: /change-affiliate-password.html
Disallow: /affiliate-payment-options.html
Disallow: /create-affiliate-account.html
Disallow: /affiliate-tracking-code.html
Disallow: /affiliate-transactions.html
Disallow: /shopping-cart.html
Disallow: /gift-vouchers.html
Disallow: /compare-products.html
Disallow: /search.html
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Host: xxx.in.ua

.htaccess

<FilesMatch "error.(txt)$">
Order Allow,Deny
Deny from all
</FilesMatch>
<FilesMatch "\.(tpl|ini|log)">

Order deny,allow
Deny from all
</FilesMatch>

# SEO URL Settings
RewriteEngine On

# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/
#RewriteRule ^kupit_brendovie_pidjaki.html$ 404. [R=301,L]
RewriteBase /
RewriteRule ^index.html$ / [R=301,NC,L]

# redirect www to non_www
RewriteCond %{HTTP_HOST} ^www.xxx.in.ua
RewriteRule ^(.*)$ http://xxx.in.ua/$1 [R=301,L]
# Home page redirect ( /index.php to /)
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]

RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

вот что в панели google-webmaster

[omenboy]

ничего себе размер роботс файла. Это что в опенкарте так много дублей?

[Solli]

Нет - просто продублировано для Яши и Гуглоробота=)

[Solli]

Через панель вебмастера отдали googlebot-у новую версию сайта и новый sitemap.

Через неделю получили результат - все страницы товаров нормально проиндексированы, по всем страницам категорий и инфостраницам в панеле вебмастера получили ошибку: "Не найдено".

При попытке просмотреть как гуглбот(из панели вебмастера) адреса типа woman/zhenskie_platiya/platija_povsednevnie - результат не найден, зато если добавить в конце ".html" пишет - "Успешно" но скриншоты в обоих случаях не отдает.

Хотя все страницы разделов магазинов в адресе не содержат "*.html"

Провели эксперимент - добавили во все алиасы категорий "*.html" получилось woman/zhenskie_platiya/platija_povsednevnie.html

Теперь результат вообще поразил... - googlebot - не видит woman/zhenskie_platiya/platija_povsednevnie.html но видит woman/zhenskie_platiya/platija_povsednevnie но скрина все равно нет!

[iSeller]

А где пациент? Или надо карты раскладывать?

[Solli]

Проблема была найдена - неправильно отдавались заголовки запроса - причина:

В контроллерах продукта, категорий, инфостраниц были прописаны ответы заголовков из темы http://opencartforum...6795#entry46795

Змінено 3 квітня 2013 користувачем Solli