Проблема с индексацией сайта в Яндексе и Гугле

[Alexale]

Доброго времени суток!

Столкнулся с проблемой и без дополнительной помощи решить ее не могу. Буду рад и благодарен каждому комментарию.

Проблема такова:

Есть домен, принадлежит организации, за свою историю был прикреплен к разным движкам. Умники постоянно кардинально меняли полностью, движки, дизайны и т.д., не понимая чем это может обернуться. Сейчас на домене числится интернет-магазин, новый дизайн, новый движок (опенкарт) и т.д..

Теперь по работе на меня возложили еще вести и интернет-магазин. Поскольку постольку в этом разбираюсь, взялся.

 

Что проделано:

 

Установил движок, воткнул платный дизайн, установил фильтр про, в админке включил сео про, с категориями, на конце поставил слеш, .htaccess переименован как положено, редирект 301 работает нормально, урлы все понятные.

 

В принципе проблем с индексацией быть не должно, тем более с всеядным гуглом, но они есть.

 

Проблема следующего характера:

Гугл и Яндекс не выдают в поиск карточки товара, выдают только категории, информационные статьи, бренды. В вебмастере Яндекс видно, что роботом загружено 2000 страниц, включая карточки товаров, в поиске только 50 страниц, те которые описаны выше. В поиске Гугла та же беда. Дальше страниц категорий дело не заходит. После изменения, сайт уже больше месяца.

 

Чтобы убрать лишние вопросы об уникальности карточек, напишу сразу, в карточках товаров тексты не уникальные, так как производителями запрещено менять технические данные и описания материалов. И так как у меня есть сайты похожей тематики, на индексацию это не влияет и всегда все страницы в поиске и занимают нормальные позиции. Поэтому уверен дело не в уникальности.

 

Писал платону, в ответ пришло, что все нормально, фильтров нет, ограничений нет и т.д.

 

Вроде описал все подробно, у кого есть мысли, поделитесь -помогите.

 

Сайт - Capacenter.ru

 

Файл .htaccess -

 

# 1.To use URL Alias you need to be running apache with mod_rewrite enabled.

# 2. In your opencart directory rename htaccess.txt to .htaccess.

# For any support issues please visit: http://www.opencart.com

Options +FollowSymlinks

# Prevent Directoy listing
Options -Indexes

# Prevent Direct Access to files

Order deny,allow
Deny from all


# SEO URL Settings
RewriteEngine On
# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteRule ^download/(.*) /index.php?route=error/not_found [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

### Additional Settings that may need to be enabled for some servers
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off

# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M

# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M

# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200

# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200

# 7. disable open_basedir limitations
# php_admin_value open_basedir none

 

Файл robots.txt -

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category


User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: capacenter.ru

 

В вебмастере Яндекс - 

 

Загружено: 2410 страниц

из них

200 - 538

301 - 775

404 - 1090 (старые страницы)

В поиске: 51 страница

[Donaldduck777]

Ну как бы вот

Disallow: /catalog

запрещает индексирование всех товаров, да и всего каталога)

[Alexale]

Тоже подозревал про эту строчку, но были сомнения что это она, я думал закрывать товары может строка  Disallow: /category , но ее нет. Сейчас удалю ее, если дело в ней, то скоро будут изменения, обязательно отпишусь об изменении. Вдруг у кого будет похожая проблема, чтобы смогли оперативно ее решить.

Спасибо за помощь!

[Agatha65]

Еще

В htaccess после RewriteEngine On надо добавить

#redirection to non www
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

Змінено 26 вересня 2016 користувачем Agatha65

[Alexale]

Для чего вставлять эти строчки, за что они отвечают? Судя по всему за редирект, так вроде все отлично перенаправляется, при малейшем изменении, в вебмастере выскакивает код 301 с этой странице.

[Agatha65]

Для чего вставлять эти строчки, за что они отвечают? Судя по всему за редирект, так вроде все отлично перенаправляется, при малейшем изменении, в вебмастере выскакивает код 301 с этой странице.

Сейчас сайт доступен как с www так и без. Для Гугле ето разние сайти (дубли). Извиняюсь, но мой руский не очен хорош чтоби обяснить почему ето плохо. Надеюс кто нибуд из участников форума сможеть обяснить с детали. Можно конечно задать в вебмастер какая версия предпочитаете, но лучше ето сделать в htaccess.

[Alexale]

Спасибо большое. Так же внес эти строчки.

[Alexale]

Ребят спасибо большое, все получилось, прошло меньше недели и 199 товаров в поиск сразу залетели.