Индексирование сайта

[nextvid]

Был создан магазин на базе ocStore v0.2.0, он был добавлен на индексирование в гугл и яндекс, через некоторое время поисковики его проиндексировали. Некоторое время назад оптимизируя сайт установил deadcow SEO, предварительно убрав (как и рекомендовано на форуме)дубли страниц, прописывались ключевые слова и т.д. Вопрос в следующем: Яндекс продолжает индексирование но страницы в индексе выглядят не //mysyte.by/zapchasti-i-kompljektujushchije а так как они выглядели до установки модуля //mysyte.by/index.php?route=product/category&path=36, может нужно как то яндексу указать на то что на сайте есть изменения или же он сам потом это определит?

[Ritter]

До модуля, робот проиндексировал url, все новое ведущие на туже страницу будет считать дублем. Следует в роботсе запретить эти дубли.

Например:

Disallow: *product/category

[OlegVP]

Как вариант можно сделать 301 редирект на все товары и, скорей всего, редирект делать придется не по шаблону а на каждый товар свою строчку - что очень гемморойно при большом количестве товаров...

Если брать в расчёт гугл - то делается sitemap с новыми ЧПУ и покупается пару ссылок на эту страницу или пропинговывается, если есть опыт, то страницы попадают в индекс гугла до 24 часов...

Мне удавалось за пару часов загнать страницу в индекс гугла :)

[Webracer]

Закрываете доступ к старым УРЛ, удаляете станицы из индекса (можно вручную - прийдется подолбаться если страниц много; или подождать пока они сами выпадут), грузите новую карту сайта в Яндекс.

[nextvid]

Файл роботс у меня выглядит так:

User-agent: Yandex

Allow: /index.php?route=common/home

Allow: /index.php?route=product/special

Disallow: /index.php?route=product*

Disallow: /index.php?route=account*

Disallow: /index.php?route=checkout*

Disallow: /index.php?route=common*

Disallow: /index.php?route=information*

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /cgi-bin

Host: realsigoff.by

Sitemap: Mysyte/index.php?route=feed/google_sitemap

удаляете станицы из индекса (можно вручную - прийдется подолбаться если страниц много;

Если честно не совсем понял, страницы из индекса яндекса можно как то вручную удалить?

Буду очень благодарен за пояснение.

[Webracer]

Если честно не совсем понял, страницы из индекса яндекса можно как то вручную удалить?

Буду очень благодарен за пояснение.

Можно! В Яндекс Вебмастере

http://webmaster.yandex.ua/delurl.xml

[Yesvik]

Как вариант можно сделать 301 редирект на все товары и, скорей всего, редирект делать придется не по шаблону а на каждый товар свою строчку - что очень гемморойно при большом количестве товаров...

Ни какого гемороя... На сайте прикручен новый SEO URL для устранения дублей, но кроме устранения дублей этот SEO URL и редиректы делает со статусом 301.

[nextvid]

Закрываете доступ к старым УРЛ

Как правильно закрыть доступ?

На сайте прикручен новый SEO URL для устранения дублей, но кроме устранения дублей этот SEO URL и редиректы делает со статусом 301.

Т.е. если я правильно понимаю, нужно отсюда использовать SEO для устранения дублей, и затем в Яндекс Вебмастере удалить страницы из индекса, или после устранения дублей этого делать не надо?

[Yesvik]

Как правильно закрыть доступ?

Т.е. если я правильно понимаю, нужно отсюда использовать SEO для устранения дублей, и затем в Яндекс Вебмастере удалить страницы из индекса, или после устранения дублей этого делать не надо?

В SEO оттуда всё сделано для аккуратного перехода на ЧПУ и обратно. Поставил и больше ничего не трогай... всё произойдёт само.

[nextvid]

Еще наверняка нужно .htaccess править?

[nextvid]

В SEO оттуда всё сделано для аккуратного перехода на ЧПУ и обратно. Поставил и больше ничего не трогай... всё произойдёт само.

Именно это SEO устранение дублейи было использовано мной, только пока яша индексирует все по старому, да и в гугле вижу следующее: Некоторые важные страницы блокируются в файле robots.txt и при этом показывает страницу с ЧПУ. Может нужно что то в .htaccess поправить? Вот как он выглядит у меня:

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.(tpl|ini|log|txt)">

Order deny,allow

Deny from all

</FilesMatch>

<Files robots.txt>

Allow from all

</Files>

# Необходимо для ЧПУ.

RewriteEngine On

#RewriteBase /www/realsigoff.by/

RewriteBase /

#RewriteBase /home/kuchumov/www/realsigoff.by

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

### Additional Settings that may need to be enabled for some servers

### Uncomment the commands by removing the # sign in front of it.

### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:

# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:

# php_flag magic_quotes_gpc Off

Ни строчки о 301 редиректе, а в SEO при замене строк в admin/language/russian/setting/setting.php, запись: $_['entry_seo_url'] = 'Использовать SEO-url:<span class="help">Необходимо настройть .htaccess в корневом каталоге магазина</span>';

Или я что то неправильно понял? Вы уж меня извиняйте, но я новичек в этом деле.

[Yesvik]

Не... дело не в htaccess...

Ты в robots.txt закрыл доступ по ссылкам которые заглотили поисковики...

Например страницы товаров раньше были /index.php?route=product.... а в robots.txt написано Disallow: /index.php?route=product*

Попробуй зайти по старой ссылке и ты увидиш что тебя переадресует на ЧПУ

Убери этот запрет... поисковик прийдёт по старой ссылке, получит переадресацию со статусом 301 и постепенно заменит старые ссылки на новые без существенных потерь в позициях.

Часть запретов, которые у тебя прописаны, хороши для нового сайта. А когда меняеш ссылки эти запреты только мешают.

Оставь запреты только на те разделы сайта к которым поисковик не должен иметь доступ ни по старым, ни по новым ссылкам.

[nextvid]

Yesvik, огромное спасибо за помощь, так же спасибо всем кто откликнулся. Правда последнего ответа не дождался сделал как подсказал Webracer в 4 посте, теперь видно совсем вниз свалится в позициях. Ну да ладно на ошибках учатся.

[Yesvik]

Зачем удалять ссылки если есть редиректы?

Я же написал в 9 посте...

Поставил и больше ничего не трогай... всё произойдёт само.

[MorGan]

а если seo не включать в админке то дубли страниц будут или нет ?

и можно пример дубля страницы и как узнать есть вообще дубли или нет ?

[Yesvik]

а если seo не включать в админке то дубли страниц будут или нет ?

и можно пример дубля страницы и как узнать есть вообще дубли или нет ?

Если SEO не включать - дубли будут обязательно. Если включать - то зависит от того какое SEO используется.

Перейди на страницу товара по ссылке с главной страницы магазина, а потом перейди по ссылке на тот-же товар из категории. Если при этом формируются разные ссылки - это и есть дубли.

Вот примеры

http://demo.opencart.com/index.php?route=product/product&product_id=41

и

http://demo.opencart.com/index.php?route=product/product&path=20_27&product_id=41

[MorGan]

Если SEO не включать - дубли будут обязательно. Если включать - то зависит от того какое SEO используется.

Перейди на страницу товара по ссылке с главной страницы магазина, а потом перейди по ссылке на тот-же товар из категории. Если при этом формируются разные ссылки - это и есть дубли.

Вот примеры

http://demo.opencart.com/index.php?route=product/product&product_id=41

и

http://demo.opencart.com/index.php?route=product/product&path=20_27&product_id=41

благодарю за ответ и подсказку !

действительно дубли есть .

а я еще думал что дубли считаются так

index.php?route=product/product&path=64&product_id=56

zhenskaya-odezhda/moschino

переход на один и тот же товар

а не подскажите что на конце лучше всего ставить окончание , слеш (/) или (html) или вообще пусто ?

[Yesvik]

С технической точки зрения, если нормально настроен сервер - по барабану.

Я стараюсь придерживаться такой логике:

В интернете по разным адресам расположен различный контент...

Для подсказки какой контент нас ожидает по какой либо ссылке используются расширения файлов.

Если указано .avi то ожидаем видео, если .pdf то ожидаем PDF, если видим .html - ожидаем HTML документ.

Я не вижу ничего плохого в том что ссылка содержит подсказку какого типа контент мы можем ожидать по ссылке.

Слеш обычно означает указание на директорию... В зависимости от настроек сервера по разному может отображаться содержимое директории.

Обычно настройки серверов запрещают просмотр директорий и указывается список файлов которые отвечают за представление содержимого директории.

Применительно к интернет магазину, я рассматриваю страницы товаров как файлы, а категории как директории с файлами страниц товаров.

Поэтому ссылки на страницы со списками товаров, производителей, информационных документов стараюсь делать со слешем на конце, а страницы товаров, производителей, информационные страницы - рассматриваю как файлы в HTML формате и поэтому у них должны быть окончания .html

Я не отрицаю других подходов... например везде указывать слеш. Это как-бы говорит что каждый файл лежит в отдельной директории и при обращении к этой директории отображается заданный по умолчанию файл.

Когда окончания нет - это вообще неопределённость... не понятно то ли это документ, то ли это директория... или вообще ошибка и не хватает части URL.

Есть мнение что из-за окончаний ссылка может не поместиться в твитере... Но подобный бред я даже обсуждать не хочу... по крайней мере применительно к интернет магазинам.

[MorGan]

С технической точки зрения, если нормально настроен сервер - по барабану.

Я стараюсь придерживаться такой логике:

В интернете по разным адресам расположен различный контент...

Для подсказки какой контент нас ожидает по какой либо ссылке используются расширения файлов.

Если указано .avi то ожидаем видео, если .pdf то ожидаем PDF, если видим .html - ожидаем HTML документ.

Я не вижу ничего плохого в том что ссылка содержит подсказку какого типа контент мы можем ожидать по ссылке.

Слеш обычно означает указание на директорию... В зависимости от настроек сервера по разному может отображаться содержимое директории.

Обычно настройки серверов запрещают просмотр директорий и указывается список файлов которые отвечают за представление содержимого директории.

Применительно к интернет магазину, я рассматриваю страницы товаров как файлы, а категории как директории с файлами страниц товаров.

Поэтому ссылки на страницы со списками товаров, производителей, информационных документов стараюсь делать со слешем на конце, а страницы товаров, производителей, информационные страницы - рассматриваю как файлы в HTML формате и поэтому у них должны быть окончания .html

Я не отрицаю других подходов... например везде указывать слеш. Это как-бы говорит что каждый файл лежит в отдельной директории и при обращении к этой директории отображается заданный по умолчанию файл.

Когда окончания нет - это вообще неопределённость... не понятно то ли это документ, то ли это директория... или вообще ошибка и не хватает части URL.

Есть мнение что из-за окончаний ссылка может не поместиться в твитере... Но подобный бред я даже обсуждать не хочу... по крайней мере применительно к интернет магазинам.

благодарю за такое четкое объяснение !

[tigranat]

Подскажите, как быть. На сайте моего магазина сейчас все плохо со структурой сайта стало. Сайтмэп поэтому отключили, чтобы никто не путался из посетителей.

Сейчас переделываем названия url, вводя псевдонимы.

С главной доступны категории, при выборе категории доступны товары в них. Там все понятно. Выглядит вот так

С главной доступны рецепты и статьи. Это блок информации (infirmation) и его дубль (pages). В верхнем меню НОВОСТИ, О НАС и ДОСТАВКА забиваются в админке там же где рецепты (information).

Рецепты стали как псевдонимы показываться вот так, но статьи так и остались такими

Нужно, чтобы структура сайта была логичной и страница с рецептами была сайт.рф/рецепты/детский_торт_своими_руками/

По аналогии статьи сайт.рф/статьи/переход_на_сыроедение/

И новости чтобы выглядели так сайт.рф/новости/

И главная дублируется. Есть сайт.рф, а есть сайт.рф/index.php?route=common/home. Как убрать дубль?

[freelancer]

перейти на последний двиг или выпилить из него seo pro ?

[tigranat]

Применительно к интернет магазину, я рассматриваю страницы товаров как файлы, а категории как директории с файлами страниц товаров.

Поэтому ссылки на страницы со списками товаров, производителей, информационных документов стараюсь делать со слешем на конце, а страницы товаров, производителей, информационные страницы - рассматриваю как файлы в HTML формате и поэтому у них должны быть окончания .html

Я не отрицаю других подходов... например везде указывать слеш. Это как-бы говорит что каждый файл лежит в отдельной директории и при обращении к этой директории отображается заданный по умолчанию файл.

Когда окончания нет - это вообще неопределённость... не понятно то ли это документ, то ли это директория... или вообще ошибка и не хватает части URL.

Согласен, очень логично, но как добавить .html? Пока получается только / добавлять в конце. У меня версия v0.2.2

[Yesvik]

И главная дублируется. Есть орехоед.рф, а есть орехоед.рф/index.php?route=common/home. Как убрать дубль?

Ищи... Обсуждалось неоднократно и предлагалось великое множество вариантов...

Согласен, очень логично, но как добавить .html? Пока получается только / добавлять в конце. У меня версия v0.2.2

В 0.2.2 я эту возможность не реализовал.

И ещё... не используй кириллицу, версия 0.2.2 не заточена под это.

[tigranat]

спасибо, вопрос решен.

[iSeller]

Все имеющиеся позиции вы потеряете, ваш сайт целиком будет переиндексирован. Что бы этого не произошло надо сделать редирект. Идеальный вариант выключить ЧПУ, записать все имеющиеся адреса в notepad, создать редиректы на новые страницы, включить ЧПУ. В течении 1-2 апдейтов яндекс склеит старые страницы с новыми, с передачей веса старинц, если быди ссылки. Ждать просто замены страниц можно очень долго, в яндексе тем более.