Google не видит файл robots.txt? (Гугл индексирует намного больше страниц чем Яндекс)

[alinalessioYandex]

Продвигаю сайт. на Opencart 1.5.4.1.2

Заметил что Яндекс проиндексировал 153 стр.

а Google 970 стр.

разница в 85%!

 

 

Как это объяснить? Сначала я думал, что google не видит файл robots.txt но в вебмастер:Google там написано, что файл robots.txt принят во внимание.

 

Если с гуглом все в порядке, тогда остается объяснить такую низкую индексацию у Яндекса.

 

Кто знает с чем связана такая разница в индексации двух поисковиков и как сделать результаты индексации более одинаковыми, т.е. другими словами как повысить индексацию в Яндексе?

 

 

[chukcha]

Ждать милости Я.

подключить вебмастер Я, подключить вебмастер Г

анализировать проиндексированные страницы и там и там, сравнивать контент страниц и т.д.

зы... я как бы не очень доверял бы siteauditor, при всем уважении к Ашмановским детищам.

[evgosan]

Пациента в студию!

 

Может фильтр от яндекса, может еще чего...

 

Кстати, Гуглу пофиг, что в robots.txt накалякано. Если страница проиндексирована, а потом ты ее в роботе закрыл  - то страница никогда не выпадет из индекса.)

[alinalessioYandex]

Пациент: http://fa72.ru

По правде говоря я уже давно стал подозревать, что siteauditor со мной не до конца откровенен. Прогоняю запросы. Он показывает, только один запрос на 27 месте, а других запросов не видит. Хотя в рукопашную все запросы на третьей странице в Гугле. Про яндекс молчу. Яндекс вообще игнорит )) Ближе чем на сотое место не подпускает.

 

Файл robots.txt я не переделывал. Он как был стандартный с движка.

[evgosan]

Пациент: http://fa72.ru

По правде говоря я уже давно стал подозревать, что siteauditor со мной не до конца откровенен. Прогоняю запросы. Он показывает, только один запрос на 27 месте, а других запросов не видит. Хотя в рукопашную все запросы на третьей странице в Гугле. Про яндекс молчу. Яндекс вообще игнорит )) Ближе чем на сотое место не подпускает.

 

Файл robots.txt я не переделывал. Он как был стандартный с движка.

 

 

Пациент: http://fa72.ru

По правде говоря я уже давно стал подозревать, что siteauditor со мной не до конца откровенен. Прогоняю запросы. Он показывает, только один запрос на 27 месте, а других запросов не видит. Хотя в рукопашную все запросы на третьей странице в Гугле. Про яндекс молчу. Яндекс вообще игнорит )) Ближе чем на сотое место не подпускает.

 

Файл robots.txt я не переделывал. Он как был стандартный с движка.

Позиции, лучше смотреть либо в allpositions.ru либо keykollector. Если в "Рукопашную", то учитывай предпочтения выдачи Яндекса.

 

Заметил, что нет главного зеркала, www или без, а это явные дубли. Только за это можно хорошие санкции получить.

 

P.S. Если Вас интересует SEO, то это не место где обсуждать. Нет разницы, какой движок вашего сайта.

[alinalessioYandex]

Спасибо за ссылки. Сейчас попробую.

Что касается обсуждения seo вы правы, нет разницы какой движок. Попробую на других форумах, но тут просто как-то привычней ))

 

Можете подробнее по поводу зеркал www и без. Дело в том, что в вебмастер:яндекс в настройках я указал без www

а в вебмастер:google таких настроек нет. Как всем поисковикам дать понять, что сайт без www?

 

И еще кое-что у Яндекса заметил. Неканонический документ

Открыл его, а там куча ссылок на страницы с товаром. Получается эта куча товаров не индексируются? Это нормально?

[alinalessioYandex]

Погуглил как склеить зеркала сайта, чтобы поисковики учитывали сайт без www

Сделал так:

1. В файле .htaccess заменил строку

Options +FollowSymLinks

на это:

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

2. В файле robots.txt в самом конце добавил:

Host: fa72.ru

Название сайта у каждого будет свое.

 

Кто владеет материалом, подтвердите все ли верно?