про Яндекс

[lastif]

подскажите пжлста, почему у меня в яндекс из почти 11тыс. страниц загружается 2183?

ТИЦ ? меньше 10

Страниц в поиске 2183

Внешних ссылок на страницы сайта 0

Дата последнего посещения сайта роботом 21.08.2011

Загружено роботом 10959

Исключено роботом 7419

вот мой файл .htaccess

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.(tpl|ini|log|txt)">

Order deny,allow

Deny from all

</FilesMatch>

<Files robots.txt>

Allow from all

</Files>

# Необходимо для ЧПУ.

RewriteEngine On

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

в нём дело или ещё в чём-то?

вот адрес сайта на всякий случай

www.dildoland.ru

[snastik]

а что сам яндекс пишет ?

почему исключено ?

Исключено роботом 7419

у вас есть вообще эти 11 000 страниц ? или это дубли дублей ?

и что у Вас в роботс написано ?

[Ritter]

Значит ваши страницы роботу не интересны: дубли, копипаст и т.д. т.п.

[lastif]

Документ не является каноническим 1881

Документ запрещен в файле robots.txt 5538

вот мой robots.txt

User-agent: *

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

[Alina20]

у меня тоже с яндексом прям беда (( с гуглом все ок а вот с яндексам нет...причем дубли убивала сеоурл включен псевдонимы прописываю deadcow...в чем дело понять не могу. правда есть момент - я сайт создавала прям на сервере закидывала товар один раз полностью очищала базу после опять закидывала и прописала псевдонимы включив сеоурлы - это может быть причиной и как это исправить?

[snastik]

Документ не является каноническим 1881

Документ запрещен в файле robots.txt 5538

а сколько у Вас товаров в каталоге ? я надеюсь Вы понимаете что много не значит хорошо ?

Документ не является каноническим 1881

это яндекс отсек дубли по каноническим ссылкам видать у вас не стоит модуль устранение дублей

Документ запрещен в файле robots.txt 5538

а это вы закрыли в роботсе всякие корзины и личные кабинеты что яндексу абсолютно ник чему

переживать Вам нужно если у Вас в индексе меньше половины страниц чем есть товаров и если их вдвое больше тоже стоит переживать :-)

[snastik]

у меня тоже с яндексом прям беда (( с гуглом все ок а вот с яндексам нет...причем дубли убивала сеоурл включен псевдонимы прописываю deadcow...в чем дело понять не могу. правда есть момент - я сайт создавала прям на сервере закидывала товар один раз полностью очищала базу после опять закидывала и прописала псевдонимы включив сеоурлы - это может быть причиной и как это исправить?

тут только ждать :-) я уже пол года жду когда у меня 8000 страниц от оскомерца отвалятся :-) в гугле 80% отвалилось а яндекс их упорно не хочет забывать

[Alina20]

а сколько у Вас товаров в каталоге ? я надеюсь Вы понимаете что много не значит хорошо ?

Документ не является каноническим 1881

это яндекс отсек дубли по каноническим ссылкам видать у вас не стоит модуль устранение дублей

Документ запрещен в файле robots.txt 5538

а это вы закрыли в роботсе всякие корзины и личные кабинеты что яндексу абсолютно ник чему

переживать Вам нужно если у Вас в индексе меньше половины страниц чем есть товаров и если их вдвое больше тоже стоит переживать :-)

в яндаксе гораздо меньше страниц чем товаров...это последствия-да? того что я сайт перелапачивала? ((((

[lastif]

у меня ocstore 0.2.2

разьве модуль "устранение дублей" не включен по умолчанию?

скажите, а файлы robots.txt и htaccess у меня верно прописаны?

что в robots.txt мне нужно поправить?

переживать Вам нужно если у Вас в индексе меньше половины страниц чем есть товаров и если их вдвое больше тоже стоит переживать :-)

вот я и переживаю. потому что реально у меня 6000 страниц доступно в данную секунду на сайте. а в поиске 2000 всего

[snastik]

мой роботс выглядит так: правда некоторые параметры друг друга дублируют

User-agent: *

Disallow: /*?page

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /*?product/product&product_id=

Disallow: /*?product/category&path=

Disallow: /*?route=common/home

Disallow: /*?product_id

Disallow: /*?route=product

Disallow: /index.php

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Host: moy-sayt.com

в итоге закрыто все что без сео псевдонимов

[snastik]

у меня ocstore 0.2.2

разьве модуль "устранение дублей" не включен по умолчанию?

скажите, а файлы robots.txt и htaccess у меня верно прописаны?

что в robots.txt мне нужно поправить?

переживать Вам нужно если у Вас в индексе меньше половины страниц чем есть товаров и если их вдвое больше тоже стоит переживать :-)

вот я и переживаю. потому что реально у меня 6000 страниц доступно в данную секунду на сайте. а в поиске 2000 всего

ну если у вас в добавлении товара вкладка связи выглядит так как на рисунке значит есть а если не так значит нет :-) либо вы им не пользуетесь

скрин

[Alina20]

deadcow вроде так и формирует?

[snastik]

deadcow вроде так и формирует?

ну да псевдонимы он формирует поэтому остальные страницы для ПС не имеют никакой ценности да и в вебмастере вы всегда сможете увидеть что у вас попало под фильтр из полезного

[Alina20]

User-agent: *

Disallow: /index.php?route=product*

Disallow: /index.php?route=account*

Disallow: /index.php?route=checkout*

Disallow: /index.php?route=common*

Disallow: /index.php?route=information*

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /cgi-bin

User-agent: Yandex

Disallow: /index.php?route=product*

Disallow: /index.php?route=account*

Disallow: /index.php?route=checkout*

Disallow: /index.php?route=common*

Disallow: /index.php?route=information*

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /cgi-bin

Sitemap: путь до карты

пойдет? насобирала тут по форуму :)

кстати, Снастик,привет ))

[snastik]

привет привет :-)

но вот яндексу еще надо сказать кто у тебя основной домен

Host: moy-sayt.com

ну или

Host: www.moy-sayt.com

ну и в гугл вебмастере во вкладке Диагностика\Предложения HTML посмотреть чего оно там тебе предлагает :-)

а ну и я у себя еще закрыл сортировку по цене\имени и тд ну и страницы в листинге товаров

Змінено 22 серпня 2011 користувачем snastik

[lastif]

у меня как раз установлен deadcow.

но я не прописывал ни в каком товаре, какая категория у него главная. т.к. при 6000 товаров нет вариантов это делать.

что вообще значат строчки , что привела Alina20 ? в robots.txt можно указывать какие строчки для яндекса, а какие для гугла ?

[snastik]

у меня как раз установлен deadcow.

но я не прописывал ни в каком товаре, какая категория у него главная. т.к. при 6000 товаров нет вариантов это делать.

что вообще значат строчки , что привела Alina20 ? в robots.txt можно указывать какие строчки для яндекса, а какие для гугла ?

вторая пачка для яндекса там так и написано юзер агент но я честно говоря не понимаю зачем их разделять что первые что вторые прекрасно понимают если им это все объединить просто host который понимает только яндекс указывать последним

[OlegVP]

тут только ждать :-) я уже пол года жду когда у меня 8000 страниц от оскомерца отвалятся :-) в гугле 80% отвалилось а яндекс их упорно не хочет забывать

Делайте 301 редирект по шаблону, хотябы на главную, или на 404 страницу и грузите в вебмастер новый sitemap

[Webracer]

Страницы можно вручную удалить из выдачи Яндекса, предварительно закрыв к ним доступ для яндекс-бота.

[snastik]

Делайте 301 редирект по шаблону, хотябы на главную, или на 404 страницу и грузите в вебмастер новый sitemap

ну как бы на 404 они и смотрят либо закрыты в роботсе если смотрят на главную

[OlegVP]

ну как бы на 404 они и смотрят либо закрыты в роботсе если смотрят на главную

Не спорю, но 404 ответ отданный скриптом это одно, а 404 ответ отданный сервером - это другое...

[Yesvik]

Не спорю, но 404 ответ отданный скриптом это одно, а 404 ответ отданный сервером - это другое...

Если речь идёт о статусе 404, а не о надписи 404 - то разницы никакой нет.

У OpenCart есть такой маразм... на запрос к несуществующему товару отвечать страницей с надписью что такого товара нет и статусом 200... в ocStore этот маразм исправлен