SEO-контент и устранение дублей ссылок

[RGB]

Сейчас обнаружил то, что и подозревал - масса дублей страниц, что не нравится ни гуглу, ни яндексу. НАчал немного решать проблему, и запнулся на таком моменте. У меня сейчас robots.txt выглядит вот так:

User-agent: *
Disallow: /index.php?route=product/search
Disallow: /index.php?route=account/login
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/shipping
Allow: /

Кроме этого, пришлось в гугловском WMT закрыть доступ к страницам производителей далее 1-й (просто игнорировать параметр page, поскольку иначе получается масса страниц с одинаковым тайтлом из названия производителя и все).

Теперь следующая проблема - склейка с/без www. Решил вот таким образом (файл .htaccess):

DirectoryIndex index.php index.html
Options +FollowSymlinks
Options -Indexes
<FilesMatch "\.tpl">
Order deny,allow
Deny from all
</FilesMatch>
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)\?*$ index.php?_route_=$1 [L,QSA]
RewriteCond %{HTTP_HOST} ^www.***.com.ua$ [NC]
RewriteRule ^(.*)$ http://***.com.ua/$1 [R=301,L]

Теперь следующая проблема - склеить оставшиеся дубли главной: ***.com.ua и ***.com.ua/index.php и ***.com.ua/index.php?route=common/home.

Для них видимо тоже хватит 301-го редиректа, но за счет ЧПУ не могу нормально придумать его - постоянно вылазит зацикленность редиректа, так как к нужному для перехода адресу лепится идиотизм опенкарта - index.php?route=... и т.п.

Смог ли кто-то реализовать эту фишку?

И ещё вопрос - удалось ли кому то избавиться от дублей страниц товаров? Спасибо за внимание

[Fix305]

а строчка

<link href="..." rel="canonical" />

наверно для красоты прописывается)

[RGB]

а строчка

<link href="..." rel="canonical" />

наверно для красоты прописывается)

Не обратил внимания на это. Получается с товарами все ок? А как тогда быть с этим:

***.com.ua и ***.com.ua/index.php и ***.com.ua/index.php?route=common/home.

301-й редирект удалось сделать лишь для склейки www и без wwww.

[Fix305]

а с ними, даа, беда =)

либо вручную править такие ссылки, либо в роботс, я в свое время выбрал первое)

[1nstinkt]

Простите за темноту, но я так и не понял прописывать в .htaccess и robots.txt что-нибудь надо?

[RGB]

а с ними, даа, беда =)

либо вручную править такие ссылки, либо в роботс, я в свое время выбрал первое)

А можно поподробнее, если не сложно? В контроллерах ковырять?

[RGB]

Простите за темноту, но я так и не понял прописывать в .htaccess и robots.txt что-нибудь надо?

Да, для улучшения результатов поисковой выдачи надо их заполнять. Я немного подкорректировал своё, но проблема дублей главной все еще не решается. Вот мои файлы:

robots.txt

User-agent: *
Disallow: /index.php?route=product/search
Disallow: /index.php?route=account/login
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/shipping

Disallow: /*?page               
#Запрещаем индексировать все страницы продукции производителя, кроме первой. 
#Тут две стороны медали - с одной мы избавляемся от дублей тайтлов и мета-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем индексировать все страницы производителей, так как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем индексировать все страницы с разными видами сортировок, ибо иначе у нас будет десяток дублей одной и той же страницы

Disallow: /*?order
#Запрещаем индексировать все страницы с разными видами порядка вывода, причины те же

Disallow: /*?keyword
#Запрещаем индексировать все страницы с метками

Allow: /

.htaccess пока такой же, как и выше

[Fix305]

А можно поподробнее, если не сложно? В контроллерах ковырять?

да, правда придется много их править, но меня спас массовый find-replace в notepad++

[RGB]

да, правда придется много их править, но меня спас массовый find-replace в notepad++

А еще подробнее? :) Что и где менять? И вообще не проще ли в роботсах прописать редирект с 3-х страниц на главную вместо правки контроллеров? Я не смог найти синтаксис правильного 301 редиректа (кроме склейки с ввв главной), поэтому собственно и спрашиваю.

[Fix305]

ну редирект в роботс это что то мистическое или я чего то незнаю, да и поисковикам хорошо когда видит ссылку заходит и оказывается на той ссылке на которую он зашел, а не на той на которую редиректнуло.

ну почти в каждом контроллере есть строчка для "хлебных крошек" типа

'href'      => HTTP_SERVER . 'index.php?route=common/home',

, где

. 'index.php?route=common/home'

можно удалить, да и так в пару файлах в менюшках, в лого прописано.

ну а остальные страницы типа account\account, product\search и другие странички не предназначенные для индексирования поиском, просто закройте в robots.txt, как собственно уже и сделали.

[RGB]

ну редирект в роботс это что то мистическое или я чего то незнаю, да и поисковикам хорошо когда видит ссылку заходит и оказывается на той ссылке на которую он зашел, а не на той на которую редиректнуло.

ну почти в каждом контроллере есть строчка для "хлебных крошек" типа

'href'      => HTTP_SERVER . 'index.php?route=common/home',

, где

. 'index.php?route=common/home'

можно удалить, да и так в пару файлах в менюшках, в лого прописано.

ну а остальные страницы типа account\account, product\search и другие странички не предназначенные для индексирования поиском, просто закройте в robots.txt, как собственно уже и сделали.

Пардон, перепутал :) Я htaccess имел в виду. Попробую пошаманить по вашему способу.

[Dinner]

Собственно страница контактов находится по адресу www.site.ru/index.php?route=information/contact где изменяется ЧПУ чтоб было что-то похожее на www.site.ru/contact

[RGB]

Собственно страница контактов находится по адресу www.site.ru/index.php?route=information/contact где изменяется ЧПУ чтоб было что-то похожее на www.site.ru/contact

Если это вопрос, то нигде. Разве что редирект ставить на заранее созданную страницу.

А я обнаружил непонятное явление - в опенкарте не индексируются отзывы? Попробуйте посмотреть код страницы с отзывами на товар - вы не найдете в коде текста отзыва, хотя на странице он есть. В чем может быть дело? Поправьте меня если это не так.

[Denis S]

Пардон, перепутал :) Я htaccess имел в виду. Попробую пошаманить по вашему способу.

Остались дубли в корзине на страницы сайта, типа: (сайт/товар/01) корзина (сайт/01) Подскажите что делать.........?

на край можно удалить название из корзины и выводить количество продуктов. Остальное пофиксить по робот.тхт... Вопрос как это сделать....

Вообще кто привел в порядок "урлы" поделитесь своей работой - если не жалко?

Движок v0.1.6

[Denis S]

В "кратцы" как тут: http://timeshop.com.(ua)/

[Denis S]

В общем временно корзина идет в дверь - с "индекса"(которых 10 штук). Жду обновления кеша гугл.

[RGB]

В общем временно корзина идет в дверь - с "индекса"(которых 10 штук). Жду обновления кеша гугл.

С чего бы это гугл или кому то еще индексировать вашу корзину? У вас что, по сайту ссылки идут на товар прямо в корзине?

Если уж так переживаете, закройте путь index.php?route=checkout от индексации и все.

[RGB]

Вообще кто привел в порядок "урлы" поделитесь своей работой - если не жалко?

Чем конкретно поделиться? Тексты нужных файлов приведены выше.

[nailhav]

Яндекс видит дубли главное, делаю вот такой редирект в хтессес

RewriteEngine on

RewriteCond %{HTTP_HOST} ^site.ru

RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]

после этого админка не пускает :mellow: как убрать зеркало главной?

[nailhav]

а строчка

<link href="..." rel="canonical" />

наверно для красоты прописывается)

Прописывается наверно не для красоты, на Яндекс эту строчку в упор не видит, могу пример в студию, где вместо ссылки прописанной в этом теге в выдаче сидит совсем другая страничка, и сидит уже давно.

Так что вопрос актуальный, что делать с дублями товаров? Может на каждый товар сделать редирект со всех возможных ссылок? просто эти дубли не дадут возможности полноценно развивать сайт.

[Magi]

ну редирект в роботс это что то мистическое или я чего то незнаю, да и поисковикам хорошо когда видит ссылку заходит и оказывается на той ссылке на которую он зашел, а не на той на которую редиректнуло.

ну почти в каждом контроллере есть строчка для "хлебных крошек" типа

'href'      => HTTP_SERVER . 'index.php?route=common/home',

, где

. 'index.php?route=common/home'

можно удалить, да и так в пару файлах в менюшках, в лого прописано.

ну а остальные страницы типа account\account, product\search и другие странички не предназначенные для индексирования поиском, просто закройте в robots.txt, как собственно уже и сделали.

У меня какая-то страннота вышла. На локальном сервере эта фича прокатила, залил переписанные файлы на хостиг, а там index.php?route=common/home в строке адреса все равно остались.

UPD

Спустя 5 минут начало работать.

[RGB]

Прописывается наверно не для красоты, на Яндекс эту строчку в упор не видит, могу пример в студию, где вместо ссылки прописанной в этом теге в выдаче сидит совсем другая страничка, и сидит уже давно.

Так что вопрос актуальный, что делать с дублями товаров? Может на каждый товар сделать редирект со всех возможных ссылок? просто эти дубли не дадут возможности полноценно развивать сайт.

У меня и в яндексе, и в гугле с этим нет проблем - ссылки без дублей.

[RGB]

Так что, никто не думал поднять важный контент (центральный блок с описаниями) в коде повыше, над боковыми блоками с категориями и прочим хламом? Сейчас ситуация такая, что сначала выводится код левой колонки, затем - правой, и только потом (в идеале это середина страницы) самый важный центральный блок. Сам я пока с трудом представляю, как это сделать.

[Fix305]

боюсь предположить, но может поменять местами?)

[RGB]

боюсь предположить, но может поменять местами?)

Даа, я подозревал.. Но как и где? :)

В каком конкретно файле определяется порядок вывода блоков?

Вероятно, это product.tpl?

И еще - почему никто раньше не предлагал этой простой операции? Ведь с точки зрения сеошности это дает огромную выгоду!