мифические дубли страниц

[freelancer]

дублями называют страницы доступные по разным адресам. на примере opencart это страницы

http://ocstore.orcart.ru/
http://ocstore.orcart.ru/index.php?route=common/home

миф заключается в том, что поисковые системы выкидывают из индекса не только все дубли, но и сами страницы, либо же страницы, имеющие дубли, заметно проседают в поисковой выдаче

 

на скрине мой демо сайт.

 

видно, что из 153 найденных страниц в индексе только 12. в исключенных страницах 12(robots.txt). где-же ещё 129? об этом я спросил поддержку яндекса и получил ответ

Мы проверили, Ваш сайт присутствует в поиске и находится пользователями. Но часть страниц, действительно, отсутствует в результатах поиска, при этом никаких санкций на них не наложено.

Наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в результаты поиска попадают наиболее релевантные страницы сайтов: см. http://help.yandex.ru/webmaster/yandex-indexing/excluded-pages.xml .

О наших рекомендациях по развитию сайта Вы можете прочитать на следующих страницах:

http://help.yandex.ru/webmaster/recommendations/targeting.xml

http://help.yandex.ru/webmaster/recommendations/presentation.xml

При этом наш робот помнит о других страницах сайта; если на них присутствуют ссылки, он периодически переобходит их, и со временем они также могут быть включены в результаты поиска. Но, к сожалению, гарантировать включение тех или иных страниц в результаты поиска мы не можем.

 

очень размытый ответ. всё дело в алгоритме, который работает неизвестно как. яндекс даёт только рекомендации, но никаких конкретных шагов, способствующих попаданию страниц в результат поиска не предлагает

 

тогда я задаю конкретный вопрос на счет дублей

(пролистав мануалы яндекса http://help.yandex.ru/webmaster/for-webmasters/contents.xml

так не нашел ни одного упоминания об этом)

недавно получил ответ

В случае, если страницы сайта доступны по различным адресам и содержат одинаковый контент, они считаются дублирующими, в поиск может включаться только одна из таких страниц. В этой ситуации я рекомендую Вам явно указывать роботу, по какому адресу страницы должны индексироваться и участвовать в поиске, например, прописав в коде дублирующих страниц атрибут rel="canonical" тега , содержащий их канонический адрес ( http://help.yandex.ru/webmaster/controlling-robot/html.xml#canonical ), или установив перенаправление 301 с дублирующих страниц на требуемые.

Ранее мы уже сообщали Вам о причинах, по которым некоторые страницы сайта могут не участвовать в поиске. Это связано с работой специальных алгоритмов, которые, подбирая наиболее точный и полный ответ на тот или иной запрос пользователя, включают в индекс поисковой системы самые релевантные страницы ресурсов. Продолжайте работать над развитием Вашего сайта, следуя нашим рекомендациям, и со временем количество его страниц в поиске может увеличиться.

понятно, что чем меньше поисковик проиндексирует лишних, дублирующих страниц, тем больше у него будет времени на нужные и полезные, но может не стоит такое внимание уделять дублям?

[Esox]

Так что следует из написанного выше?

Что поисковые системы выкидывают из индекса не только все дубли, но и сами страницы, либо же страницы, имеющие дубли, заметно проседают в поисковой выдаче?

[Einshtein]

не стоит забывать что кроме яндекса существует еще и гугл, я молчу о других поисковиках.

К тому же проблему с дублями обсуждали уже давно и это факт подтвержденный множеством примеров. 

Самый лучший способ попасть в индекс и поднять рейтинг страниц - это уникальные, полезные для людей статьи - это и так понятно, но это не означает что на сайте обязательно должны присутствовать мусорные страницы...да и зачем гадать какая из ссылок попадет под индекс, если есть возможность упорядочить это все

 

Спасибо за тему, еще раз убедился что Яша самая удивительная и непредсказуемая ПС...

[freelancer]

google хорошо индексирует сайт, никаких загадочных алгоритмов я пока не наблюдал, к нему вопросов нет.

не знаю обратили вы внимание, на этой демке(ocstore.orcart.ru) нет дублей, в отличие от например ocstore15511.orcart.ru.

в то время как в первом случае в поиске 12 страниц, а во втором 50. странно не находите?

[Einshtein]

google хорошо индексирует сайт, никаких загадочных алгоритмов я пока не наблюдал, к нему вопросов нет.

не знаю обратили вы внимание, на этой демке(ocstore.orcart.ru) нет дублей, в отличие от например ocstore15511.orcart.ru.

в то время как в первом случае в поиске 12 страниц, а во втором 50. странно не находите?

действительно странно...

[ravilr]

Я уже писал как то в одной из тем, что яндекс стал умнее, в отличие от гугл. Яндекс анализирует сайт и если считает страницы сайта не привлекательными для пользователей, то может их просто выкинуть из индекса и ему без разницы дубли там или нет.

 

А эксперименты с тестовыми сайтами это вообще не показатель. Для яндекса это очередной "говносайт", к которому уделяется внимание в меньшей мере... 

[freelancer]

http://help.yandex.ru/webmaster/files/recommendations.pdf

Что такое дублирование страниц?

Дублирование страниц — это наличие на сайте страниц с одинаковым содержанием, но доступных по разным адресам.

Например:
• http://site.com и http://site.com/index.php/,
• http://site.ru/page/ и http://site.ru/page.

Если  обе  страницы  были  проиндексированы  роботом Яндекса,  система  индексации  объединит  их  в группу дублей. В поисковую выдачу войдет только одна из этих страниц.
 
Существует множество причин появления дублирующих страниц:
• естественные причины (например, если страница с описанием товара интернет-магазина присутствует в нескольких категориях сайта);
• причины, связанные с неправильной организацией структуры сайта.
 
Чтобы оставить в поисковой выдаче нужную страницу, рекомендуем явно указывать ее для робота Яндекса. Это можно сделать следующими способами:
• Установите редирект 301 с одной дублирующей страницы на другую. В этом случае при поиске будет учитываться цель установленного перенаправления.
• Укажите предпочитаемый (канонический) адрес страницы, который будет участвовать в поиске.

так вот, если ваш сайт плохо индексируется не стоит винить дубли, скорее всего вы нарушили принципы сайтостроения, описанные в Руководстве по созданию сайтов от Яндекса