Индексация Яндексом "неканонических" страниц

[Webracer]

Именно это и сделано в ocStore

А если точнее - то дублей нет не зависимо от того учитываются или нет категории в ссылках на страницы товаров.

Вот такие настройки присутствуют в ocStore

Есть отдельно модуль для ОпенКарта 1.5.1.1? Или только в ocStore?

[Yesvik]

http://opencartforum...B3%D0%BE%D1%80/ тут модуль который можно прикрутить к OpenCart, но эта версия чуть слабее по функционалу чем то что включено в ocStore. Немного освобожусь доделаю версию для ocStore и выложу версию для OpenCart.

Если с PHP знаком - можно выдернуть SEO URL из репозитория ocStore

[Webracer]

Немного освобожусь доделаю версию для ocStore и выложу версию для OpenCart.

Будем ждать

[kuroikaze]

Паника мной была поднята даром. Rel canonical отлично справляется с своей задачей, пересматривал проиндексированные яндексом страницы и не проиндексированные как "не канонические". Как раз все дубли и попадают в не канонические. ну а поскольку вместо них индексируются канонические то все ок =)

А сео-урлы пока подождут. :rolleyes:

[smarteg]

Самый умный? А в Гугле идиоты сидят и от нефиг делать придумали rel="canonical"...

Окей, принято)

[gdi31]

Все заднии повключали!

Придётся "выпил" вставлять на место. :)

[smarteg]

Я занднюю не включал) просто с аргументом

А в Гугле идиоты сидят и от нефиг делать придумали rel="canonical"...

Очень трудно поспорить XD

А вставлять или не вставлять выпил -- это дело сугубо личное каждого. Просто еще раз повторю свое наблюдение, а дальше уж решайте сами включать, не включать или выключать.

Несмотря на все уверения о необходимости сайтмэпсов и прочего, сайтмэпс далекоооооооо не всегда воспринимается поисковиком как истина в последней инстанции. Поисковик по моим наблюдениям (могу ошибаться как и все) иднексирует то, что видит. Поэтому проиндексировав http://мой-крутой-магазин.рф/товары/туризм/спички-непромокаемые рекурсивно пройдя по тому, что ему дала заглавная, вовсе не обязательно что увидев rel="canonical" вида http://мой-крутой-магазин.рф/спички-непромокаемые он пройдет и проиндексирует именно эту страницу. А даже если и проиндексирует, то вовсе не обязательно решит пустить в выдачу её т.к. один из формальных критериев: ссылка на ЭТУ страницу с главной -- отсутствует. И если уж и пустит в выдачу, то шанс ранжирования её на вкусном месте весьма невелик. Но удалит неканоническую совершенно точно. Ну или конечно можно сделать css-кой скрытый текст на заглавной странице куда засунуть все ссылки на все товары ... Но за это и в баню можно отправится ;)

Именно по этой причине на данный момент я остаюсь при своем мнении, что лучше при такой организации SEO этот атрибут убрать. Наплевать каким видом попадет страница в выдачу

http://мой-крутой-магазин.рф/товары/туризм/спички-непромокаемые

http://мой-крутой-магазин.рф/туризм/спички-непромокаемые

http://мой-крутой-магазин.рф/спички-непромокаемые

или вообще

http://мой-крутой-магазин.рф/лучшие-товары/спички-непромокаемые

главное чтобы

1) она там была

2) ПО проиндексированоый ссылке можно было перейти

Извините за некоторый снобизм, но мне лично моделировать сферических коней в вакууме нет финансовых ресурсов. Я не гугль, котоырй может несколько милионов баксов вложить в проект вроде wave и потом его закрыть на нафикнадобностью. То, о чем я пишу -- реально работает при таком стечении обстоятельств, то о чем пишет Yesvik вероятно тоже, судя по всему он грамотный специалист, но это 2 точки зрения. Как минимум ода из них правильная, чья - решать вам руководствуясь здравым смыслом и опытом предыдущих поколений. Ну и печальным опытом в том числе.

[gdi31]

Весело! :)

[lastif]

ребят, подскажите, почему такое.

вот что показывает яндекс-вёбмастер

Страниц в поиске 756

Загружено роботом 5034

Исключено роботом 4096

Информация: страницы намеренно запрещены к индексированию или не должны индексироваться:

Документ запрещен в файле robots.txt 3674

Документ не является каноническим 422

подскажите почему так, и что делать?

[Yesvik]

Я уже писал на форуме что такое rel="canonical" и с чем его едят.

Искать ссылки времени нет, поэтому всё излагаю своими словами и могут быть некоторые неточности/неоднозначности.

Все прекрасно знают как поисковики относятся к уникальному контенту и не любят дублей. Вся эта "любовь" поисковиков имеет десятилетнюю историю. В былые времена продвигали сайты до безобразия незатейливо - брали одну страницу и дублировали несколько сотен раз по разным URL, получая соответствующий профит.... Поисковикам такой расклад не понравился и они начали вводить алгоритмы для борьбы с таким маразмом. Этот маразм побороли, но вылез побочный эффект - некоторые страницы на сайтах имели разные URL и это не всегда связано с желанием обмануть поисковик, но поисковики жестко относились к таким моментам и страницы либо вылетали из индекса либо понижались как страницы с не уникальным контентом. В начале 2009-го года (кажется в феврале) Гугл объявил о поддержке rel="canonical". Гугл рекомендовал использовать этот атрибут как крайнюю меру, когда другими способами не удаётся избавиться от разных URL. Этот атрибут не является директивой, что-бы умники не пытались злоупотреблять... Гугл сверяет контент страниц и если признаёт их одинаковыми или близкими по контенту, то принимая решение какой URL включать в индекс, может учесть атрибут rel="canonical". На практике - если страницы идентичны то в индекс попадёт каноническая ссылка. Не хочу сейчас обсуждать заявления о том что надо привести все URL товаров к виду /product и будет счастье. Это заявляет тот кто не пробывал это сделать и не знает что в результате получит другие грабли, например, с меню, с хлебными крошками и т.д... Сразу перехожу к Яндексу.

С 2009-го года Яндекс обещал что будет поддерживать rel="canonical", но только обещал... На протяжении двух лет Яша безжалостно выкидывал страницы из индекса или понижал в выдаче не взирая на атрибут rel="canonical". Если я не ошибаюсь, 23 мая 2011-го года Яндекс объявил о поддержке атрибута rel="canonical", но как обычно надув щёки ничего не поясняет как он будет учитывать этот атрибут.

А теперь почему я недолюбливаю rel="canonical"... допустим у каждого товара по 3 URL - не вижу ничего хорошего в том что поисковику прийдётся индексировать в 3 раза больше страниц. Поэтому самый правильный вариант - сделать так что-бы у каждой страницы был один URL. Именно это и было сделано в верси SEO URL который был включен в версию ocStore 0.1.9 Эта версия SEO URL не только формировала уникальные ЧПУ, а так-же делала уникальными URL с обычными GET параметрами, контролировала входящие запросы и делала переадресацию со статусом 301 на выбранный формат URL (это для того что-бы не проседали позиции если поисковик уже заглотил кучу ссылок в разных форматах).

Что произошло у smarteg

К формированию ЧПУ отнёсся крайне беспечно и в итоге получил полное безобразие, например, /алкогольные-напитки/водка/?product=2234 и /алкогольные-напитки/водка/смирнов-номер-21 (ума не приложу как такое могло приключится... разве что были добавлены/изменены модули с бардаком в формировании ссылок)

После 23-го мая 2011-го года поимел грыжу от Яши. Это вылезли особенности поддержки Яндексом атрибута rel="canonical". Предполагаю что Яша просто выкинул из индекса страницы URL которых не совпадал с каноническим, а канонические URL по каким-то причинам не включил в индекс или не успел включить... Подозреваю что как и в случае с WWW и без WWW, склейкой занимается паук-зеркалировщик, а он приходит крайне редко и можно ожидать его от нескольких месяцев до полугода. Надо более плотно анализировать ситуацию что-бы точно ответить что произошло и как этого избежать. Самый правильный выход из положения - сделать что-бы у каждой страницы был один URL.

При наличии нескольких URL на одну страницу ничего хорошего в отсутствии канонических ссылок - нет и возможно все "радости" ещё впереди... Например, продвигаеш страницу с каким-то URL, а поисковик решил включить в индекс эту страницу с другим URL... радует?

[costas]

То есть /алкогольные-напитки/водка/смирнов-номер-21 и /алкогольные-напитки/смирнов-номер-21 не одно и тоже?

Просто если товар отображается в родительской категории и в дочерней как быть? По логике разумно иметь в url путь с категорией, + если добавить что товар может быть в двух дочерних категориях, получается, что бы учесть работу яшкина и правильную индексацию нужно пожертвовать логикой и визуализацией навигации, и привести всё к виду /смирнов-номер-21 ?

Я правильно понял суть вопроса?

[Webracer]

То есть /алкогольные-напитки/водка/смирнов-номер-21 и /алкогольные-напитки/смирнов-номер-21 не одно и тоже?

Просто если товар отображается в родительской категории и в дочерней как быть? По логике разумно иметь в url путь с категорией, + если добавить что товар может быть в двух дочерних категориях, получается, что бы учесть работу яшкина и правильную индексацию нужно пожертвовать логикой и визуализацией навигации, и привести всё к виду /смирнов-номер-21 ?

Я правильно понял суть вопроса?

Вы мне скажите, кому нужна эта ваша логика? Какая разница, что у вас в адресной строке? Та хоть кракозябры, лишь бы они были уникальными и единственными для этой страницы (чтобы эта страница не имела других кракозябров). Что вам будет от этого указания категории или производителя перед товаром в адресной строке? Да ничего!!!

[Yesvik]

Если иерархия каталога позволяет и нужна ссылочная иерархия - то все строится примерно так:

У товара должна быть основная категория и категории в которых отображается товар.

URL всегда строится относительно основной категории независимо от того в какой категории он отображается.

Если придерживаться идеи ссылочной иерархии - то каждая подкатегория является уточняющей родительскую категорию и в качестве основной надо выбирать категорию с максимальным уровнем вложенности.

В данном случае категория /алкогольные-напитки/ обобщённая, а подкатегория /водка/ уточняет разновидность алкогольных напитков. Поэтому для товара смирнов-номер-21 в качестве основной надо указывать категорию /алкогольные-напитки/водка/, а /алкогольные-напитки/ это категория в которой товар отображается. При этом у товара всегда один URL /алкогольные-напитки/водка/смирнов-номер-21 .

Это наиболее распространённый алгоритм, и главное не переусердствовать с количеством уточняющих категорий....

Бывают более сложные ситуации которые не вписываются в прямолинейную иерархию каталога, но это отдельная история и каждый случай надо рассматривать персонально.

В таких случаях как правило жертвуют ссылочной иерархией и ссылки на товар приводят к виду /смирнов-номер-21. Хотя и тут можно улучшить информативность URL...

Например мне нравится такая схема:

для списков товаров по товарным группам

/категория/

/категория-подкатегория/

/категория-подкатегория-подподкатегория/

и т.д.

для списков товаров по производителю

/производитель/

/производитель/категория/

/производитель/категория-подкатегория/

/производитель/категория-подкатегория-подподкатегория/

и т.д.

для товаров всегда такое ЧПУ

/производитель-наименвание-товара.html

Как правило товар более тесно связан с производителем нежели с категориями каталога и поэтому можно смело завязать производителя с наименованием товара.

В итоге получаются информативные ЧПУ позволяющие вставить ключевые слова и не создавать дикую вложенность.

[Yesvik]

Вы мне скажите, кому нужна эта ваша логика? Какая разница, что у вас в адресной строке? Та хоть кракозябры, лишь бы они были уникальными и единственными для этой страницы (чтобы эта страница не имела других кракозябров). Что вам будет от этого указания категории или производителя перед товаром в адресной строке? Да ничего!!!

Если для тебя не существует авторитетов, например Google и Яндекс - то никто не может запретить тебе переходить дорогу на красный свет и заплывать за буйки...

[Webracer]

Если для тебя не существует авторитетов, например Google и Яндекс - то никто не может запретить тебе переходить дорогу на красный свет и заплывать за буйки...

По указанным ссылкам больше говориться о восприятии пользователей адреса страници!

Я не потив стрктурированных ссылок в адресной строке, главное чтобы это не влияло на индексацию и выдачу в поисковиках. А если выбирать от чего отказаться (индексация или красивый адрес), то я бы предпочел кракозябры с хорошей выдачей в Гугле, Яндексе, а не красивый адрес только у меня на сайте о котором никто не знает кроме меня.

Я предлагаю через robots.txt закрывать пути-дубли. Тогда не нужно будет думать поддерживает или нет Яндекс канонические ссылки, или только Гугл. Кстати это и рекомендуется делать по выше указанным ссылкам.

Еще предлагаю обсудить большие буквы, подчеркивания/дефисы/пробелы, окончание адресной ссылки

[smarteg]

Yesvik, спасибо!

*хочется сказать "Спасибо дружищще!" но не уверен насколько это будет политкорректно и правильно воспринято"

Спасибо за подсказку про 301 редирект, это отличная идея и просто великолепное решение!

А насчет бардака со ссылками, да вы совершенно правильно указали причину. У меня категории были SEOшные, а продукты - нет.

В любом случае, тем у кого "бардак" вроде того что у меня - выпиливайте, у кого все в порядке - запиливайте решение by Yesvik.

Мое мнение.

P.S> для тех кто интересуется почему бардак ... знаете, базу в > 5000 товаров привести в нормальный вид, даже с модулем auto SEO не так-то просто. К тому же он мне не подходит, мне нужна кирилица в URL-ах.

[Yesvik]

По указанным ссылкам больше говориться о восприятии пользователей адреса страници!

Перечитай ещё раз.

Я не потив стрктурированных ссылок в адресной строке, главное чтобы это не влияло на индексацию и выдачу в поисковиках. А если выбирать от чего отказаться (индексация или красивый адрес), то я бы предпочел кракозябры с хорошей выдачей в Гугле, Яндексе, а не красивый адрес только у меня на сайте о котором никто не знает кроме меня.

Ещё раз повторюсь, при использовании ЧПУ проблем не увеличивается и не уменьшается.

Я предлагаю через robots.txt закрывать пути-дубли. Тогда не нужно будет думать поддерживает или нет Яндекс канонические ссылки, или только Гугл. Кстати это и рекомендуется делать по выше указанным ссылкам.

Сначала попробуй закрыть, а потом предлагай.

Еще предлагаю обсудить большие буквы, подчеркивания/дефисы/пробелы, окончание адресной ссылки

Большие буквы желательно не использовать.

Вместо подчеркиваний лучше использовать дефис (точнее - минус).

Пробелов в URL быть не должно.

Окончание - по большому счету не критично, но я предпочитаю указывать. В модуле SEO URL для ocStore 1.x я сделал так что-бы у категорий был в конце слеш (точнее не только для категорий товаров, а для всех URL у которых только route и path параметры), а для остальных страниц можно указать окончание (я предпочитаю .html)

[novised]

Еще замечу из своего опыта ОПЕНКАРТ отлично оптимизированная cms в плане seo с ними у меня никогда не было проблем в продвижении и индексации.

Можете особо не парится про то, что индексируется или что нет...Поисковики уже давно дубли на сайтах клеят или тупо отсеивают задвоенные страницы.

Обычно страницы с непонятной длиной и прочей ерундой появляются зачастую когда начинают играться с sitemap.xml