Индексация Яндексом "неканонических" страниц

[kuroikaze]

Здраствуйте.

Добавил сайт в Яндекс-Вебмастер и там выяснилась такая штука.

Роботом было загружено 486 страниц. 274 страницы было исключено. Причиной исключения есть то что они являются "неканоническими" то есть содержат тег rel="canonical" в ссылках. В поиск попало всего 149 страниц. https://opencartforum.com/public/style_emoticons/default/dry.gif

Вопрос. Нормально ли это? Как я прочитал про rel="canonical", он используется для исключения из индексации дублей страниц. Правильно ли это и для Опенкарта или все же надо исправлять? :mellow:

з.ы.

Вообще сайт индексируется Яндексом намного хуже чем Гуглом, не проиндексировано вообще ни 1го изображения :unsure: .

[snastik]

а зачем Вам изображения индексировать ?

а насчет индексации яндексом то у меня тоже в двое меньше страниц в индексе а то и в трое чем в гугле

[smarteg]

Ох я влетел с этим rel="canonical" ...

Вобщем суть такая, если НЕ ПОЛЬЗОВАТЬСЯ SEO - можно забыть о нем. Если SEO включено - это первое что надо выпилить из шаблона. Суть в чем, поисковик когда индексирует, он какбэ проходит по тому, что видит (не рассказывайте про сайтмэпсы, по опыту - на сайтмэпс он СМОТРИТ, но все равно приоритетней то, что сам видит когда какбэ проходит по сайту как пользователь), так вот, в итоге загружаются страницы с URL`ами вроде /алкогольные-напитки/водка/?product=2234 или /алкогольные-напитки/водка/смирнов-номер-21 и у этих страниц получается канонический в виде длинной НЕ SEO ссылки, которая фактически нигде в пользовательской части не генерируется (у всех менюшек генерируются SEO ссылки) и получается что нужные ссылки вылетают из индекса, а "не нужные" не индексируются. Я по неопытности и по незнанию уже получил больно по доходу (сижу на % от продаж) ...

Так что нужен он вам или нет - делайте выводы сами. Поисковики не дураки пишут, поисковики сами в состоянии дубли выпилить.

[Yesvik]

Ох я влетел с этим rel="canonical" ...

А можно подробнее?

О какой версии магазина идёт речь?

Когда именно это произошло? (желательно точную дату)

Как быстро восстанавливаются страницы в индексе?

[smarteg]

О какой версии магазина идёт речь?

OpenCart 1.4.9.3 (не ocStore). (У меня свои причины использовать оригинальную, например меня не устраивает оригинальная библиотека отправки почты, я её выпилил и пользуюсь phpMailer`ом ... так на всякий)

Когда именно это произошло? (желательно точную дату)

Примерно конец-апреля - начало/середина июня в этом промежутке. Точную дату не помню ...

Как быстро восстанавливаются страницы в индексе?

Никак. Такое чувство что один раз удаливши это дело йандекс без "стимуляторов" возвращать это дело собираться не намерен. Но есть выход ...

Самое действенное это поставить йандекс.метрику, если посещаемость у магазина более-менее ну за пару-тройку недель количество страниц в выдаче придет в норму. Если посещаемости нет - (сайт не раскручен) после установки метрики (только не надо обзываться потом личинкой SEO-шника XDDD ) создать встречу на вконтакте в которой дать ссылку на магазин, наприглашать туда школьников и в назначеный день объявить поиски белого кролика, игру что на одной из страниц с товаром спрятана картинка с белым кроликом, кто первый найдет - тому косарь. Благодарные лемминги прошерстят магазин, джава-скрипт йандекс.метрики отработает в куче браузеров и ... ну вы понели %)

А может даже чего нибуть и купят) тогда еще и косарь отобъется XD

[Yesvik]

Примерно конец-апреля - начало/середина июня в этом промежутке. Точную дату не помню ...

Понятно... Вероятнее всего это произошло в конце мая.

А в robots.txt не было директив запрещающих индексацию канонических URL?

[Yesvik]

Вопрос. Нормально ли это? Как я прочитал про rel="canonical", он используется для исключения из индексации дублей страниц. Правильно ли это и для Опенкарта или все же надо исправлять? :mellow:

О какой версии магазина идёт речь?

Можно ссылочку на магазин?

[smarteg]

Понятно... Вероятнее всего это произошло в конце мая.

А в robots.txt не было директив запрещающих индексацию канонических URL?

Да скорее всего где-то так. В апреле у меня сваливался индекс с www, но там быстро вернулся сам, а с этим да ... помучался.

Нет не было ничего такого в robots.txt

[Yesvik]

Ага... Значит это Яндекс так поддерживает rel="canonical"

Я всегда говорил что ну его нафиг этот rel="canonical", проще от дублей избавиться.

[monax]

Как то странно всё это... При включенном SEO cсылка сначала преобразовывается в ЧПУ ('href' => $this->model_tool_seo_url->rewrite(HTTP_SERVER . 'index.php?route=product/product&product_id=' . $this->request->get['product_id'])) и только потом указывается, что она каноническая. Не дожно быть косяков... Или я что-то не так понимаю?

[lastif]

плохо понимаю, о чём вы говорите. но скажите, что не нужно делать, чтобы этого не было?

Если SEO включено - это первое что надо выпилить из шаблона.

как это сделать? из какого шаблона?

[monax]

как это сделать? из какого шаблона?

catalog/controller/product/product.php

Только, надо ли выпиливать?..

[kuroikaze]

О какой версии магазина идёт речь?

Можно ссылочку на магазин?

OpenCart 1.5.5

NicePrint

Насколько Se-url важно для индексации и позиции в поисковиках? или можно все-таки и без него?

p.s. сегодня Яндекс наиндексировал уже 318 страниц. Похоже он просто медленнее Гугла индексирует.

[snastik]

p.s. сегодня Яндекс наиндексировал уже 318 страниц. Похоже он просто медленнее Гугла индексирует.

Флуд: по поводу Яндекса у меня впечатление порой что они выключают своего поискового бота и включают раз в две недели :-)

возможно электричество экономят а может интернет дорогой причину думаю мы не узнаем никогда.....

[gdi31]

Ага... Значит это Яндекс так поддерживает rel="canonical"

Я всегда говорил что ну его нафиг этот rel="canonical", проще от дублей избавиться.

По ходу у меня эта "зараза"!

Не канонических 143 штуки:

Не подскажите чем и как полечиться ?

[smarteg]

Я выпилил этот код их файла common/header.tpl текущего.

<?php foreach ($links as $link) { ?>
<link href="<?php echo str_replace('&', '&', $link['href']); ?>" rel="<?php echo $link['rel']; ?>" />
<?php } ?>

Немного брутальное решение, но в моем случае кроме этого рела в прилетающем в шаблон массиве ничего собственно путного не было.

[gdi31]

Я выпилил этот код их файла common/header.tpl текущего.

<?php foreach ($links as $link) { ?>
<link href="<?php echo str_replace('&', '&', $link['href']); ?>" rel="<?php echo $link['rel']; ?>" />
<?php } ?>

Немного брутальное решение, но в моем случае кроме этого рела в прилетающем в шаблон массиве ничего собственно путного не было.

Прополку сделал! :)

Надеюсь это принесёт, свой урожай.

Мысли вслух: Не сгниёт ли это всё на корню?

[Yesvik]

Надеюсь это принесёт, свой урожай.

Надежда умирает последней...

Я так и знал что эта тема закончится истерией и охотой на ведьм канонические ссылки.

Ты тему внимательно читал?

Речь шла про OpenCart с дублями, а у тебя дубли прибиты на корню.

[gdi31]

Надежда умирает последней...

Я так и знал что эта тема закончится истерией и охотой на ведьм канонические ссылки.

Ты тему внимательно читал?

Речь шла про OpenCart с дублями, а у тебя дубли прибиты на корню.

Не-е я чёта точно не догоняю.

Слово прибиты, как понимать?

1 вариант - это значит не одного штучки не осталось (всё чисто не одного дубля)

2 вариант - это значит сидят крепко и основательно (дублей в достаточном количестве)

И ещё хотел узнать, что прополку отменить?

Или я не там прополол?

[smarteg]

Надежда умирает последней...

Я так и знал что эта тема закончится истерией и охотой на ведьм канонические ссылки.

Ты тему внимательно читал?

Речь шла про OpenCart с дублями, а у тебя дубли прибиты на корню.

Да ничего страшного ИМХО если выпилить этот ваш rel. Профита он никакого не дает хоть с дублями, хоть без дублей. Поисковикам вообще лучше не указывать (опять-же ИМХО) каким образом индексировать сайт, это настолько пустое и бесполезное занятие ... Им лучше давать жрать контент, и наплевать по какой ссылке он пришел, главное чтобы эта же ссылка была и в пользоваельской части, эта же ссылка генерировалась. А что sitemaps ... sitemaps тут не причем. Нигде-же не написано что в нем должны быть АБСОЛЮТНО ВСЕ ссылки. Вот пусть поисковик и разбирается.

Просто когда вроде все делаешь как рекомендуют сеошнеки, сделаешь правильные сайтмэпсы, все красивенько оформишь, ссылочки ровные, однотипные - хрен! Как забьешь на это дело, поисковик наиндексирует криво-косо, где-то как продукт, где-то как продукт внутри категории, где-то еще как - так и пошел трафик с поисковиков. Я не знаю конечно может у меня руки кривые, но работает это именно так.

P.S. у платных движков кстати (phpshop, webasyst) тоже на этот вопрос положен такой болт, что в индексе чего только нет, даже rss-ки (ну откуда я с их изкаробочным инсталлером знаю что мне еще нужно robots.txt делать! там же клик-клик, клац-клац!) и при этом переходов с поисковиков чуть менее чем дохрена.

[Webracer]

Не знаю что там с ostore, а в OpenCart если не включать СЕО-урл, то никаких дублей не будет. Хоть оно и называется SEO-url, но никак не влияет на индексацию абсолютно. Поисковику без разници как выглядит УРЛ. А в нашем случае еще и дубли содает это включение SEO-url.

Если уже кому-то ну очень хочется видеть в адресе именно то, что он прописал, так можно закрыть в robots.txt пути-дубли - это будет самое правильное (с точки зрения индексации), хотя и не легкое занятие :rolleyes:

[Yesvik]

Не знаю что там с ostore, а в OpenCart если не включать СЕО-урл, то никаких дублей не будет.

Если не разбираешся - лучше промолчать.

Давай поспорим что в OpenCart есть дубли и без SEO URL и с SEO URL?

[Yesvik]

Да ничего страшного ИМХО если выпилить этот ваш rel.

Самый умный? А в Гугле идиоты сидят и от нефиг делать придумали rel="canonical"...

[Webracer]

Если не разбираешся - лучше промолчать.

Давай поспорим что в OpenCart есть дубли и без SEO URL и с SEO URL?

Да есть дубли. Сразу не доглядел.

Можно попробовать закрыть через robots.txt

Дубли получаются из-за указания полного пути в адресе. Если ссылки на товары будут такого типа http://магазин/товар а не такие http://магазин/категории/товар (или дубль http://магазин/производитель/тот же товар), то проблема отпадет сама собой. Если так можно сделать, то было бы круто!

[Yesvik]

Если так можно сделать, то было бы круто!

Именно это и сделано в ocStore

А если точнее - то дублей нет не зависимо от того учитываются или нет категории в ссылках на страницы товаров.

Вот такие настройки присутствуют в ocStore