robots.txt

[shpakov]

Yesvik Огромнейшее спасибо за комментарий.

У меня появился еще вопрос по этой теме, но так как он затрагивает и robots.txt и .htaccess то позвольте его задать в этой теме (а не плодить другие) пойдет как дополнении к моему посту выше.

Вопрос вот в чем: как уже говорил выше указал в robots.txt что яндексу считать главным "зеркалом", т.е. мой сайт без www. В .htaccess сделал редирект 301 на сайт без www.

Через панель вебмастера яндекса добавляю свой сайт в виде www.мой сайт.ru и прохожу процедуру подтверждения сайта. Все проходит нормально.

Далее делаю проверку ответа от сервера и получаю такой ответ:

Код статуса HTTP:  "301 Moved Permanently" 
Время ответа сервера: 187мс 
IP сайта: 88.198.52.26
Заголовки:
Date: Tue, 20 Sep 2011 11:15:39 GMT
Content-Length: 230
Location: http-~~-//"мой сайт".ru/
Connection: keep-alive
Content-Type: text/html; charset=iso-8859-1
Server: unknown
Кодировка: iso-8859-1         ----"тут не совсем понятно почему такая кодировка, т.к. должна быть UTF-8, о чем даже сделана запись в .htaccess  - AddDefaultCharset utf-8"
Размер страницы: 0.22Кб

Так вот, если судить по описанию тогоже справочника команд от яндекса, то я имею:

""301 Ресурс перемещен навсегда

Документ уже не используется сервером, а ссылка перенаправляет на другую страницу (получен код 301 Moved Permanently).

Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот обязательно проиндексирует страницу, на которую установлено перенаправление.""

Т.е. я правильно понимаю, что цель достигнута - "склейка зеркал" через htaccess и соответственно происходит перенаправление с www на без www? (теперь в строке адреса наблюдаю ссылки вида

http-~~-//"мой сайт".ru/index.php?_route_=

Или это не тот _route_?)

Вот только не совсем понятно, почему яндекс при выполнении проверки ответа от сервера не принимает сайт без www, т.е. говорит что данный сайт не подтвержден, ведь по идеи он же должен перенаправляться на сайт без www да и robots.txt ему указывает что главный сайт - без www.

Или может правильнее как раз сделать перенаправление на сайт с www если будет запрос на сайт без www?

Вроде как написано что www это уже анахронизм. :)

------------------------------------------

Скажите плиз такая команда

Disallow: /index.php?route=information/information&information_id=

запрещает индексацию страниц с информацией?

А какой именно информацией?

Я бы не хотел что бы была запрещена индексация раздела "статьи" на моем сайте, там много уникального контента.

--------------

Опять же спасибо тому кто даст разъяснение. :)

[Yesvik]

Я абсолютно не понимаю людей которые яростно избавляются от www.

Слышал много бредятины типа - все набирают без www.... ну и что? пусть набирают... будут перенаправлены на www.

www это не домен третьего уровня, как некоторые заявляют. Это вид сервиса к которому идёт обращение, такой-же как, например ftp

Такая-же ситуация и с адресами страниц с окончанием .html

Некоторые считают что document.html это пережитки прошлого... Что плохого в том что в адресе на документ в формате HTML присутствует указание на формат контента...

При этом умников абсолютно не смущает что при публикации документа в PDF формате они пишут .pdf в ссылке на этот документ...

Яндекс пошел по адресу который ему указали с www, получил переадресацию со статусом 301 и абсолютно правильно написал "Ресурс перемещен навсегда "... А что ты ожидал? Зачем сделал редирект и натравил Яндекс на адрес с переадресацией?

И это ещё не склейка... склейка будет когда приползёт паук зеркалировщик. Когда он будет принимать решение какой адрес выбрать - он учтёт подсказки в robots.txt, статусы ответа сервера, адрес указанный в панели.... и только потом будет склейка.

То что у тебя в адресной строке

http://"мой сайт".ru/index.php?_route_=

говорит о том что ты что то не так написал в .htaccess

Disallow: /index.php?route=information/information&information_id=

Да, эта строка предписывает пауку не включать в индекс статьи по таким URL.

Если используется ЧПУ то это нормально, если нет - то эту строку надо убирать.

Выложи свои .htaccess и robots.txt, тогда будет предмет для обсуждения.

[shpakov]

Уважаемый, Yesvik я не пытаюсь избавиться от www, я просто пытаюсь выяснить как же лучше сделать, что бы было лучше. У меня по этому поводу вообще нет своего мнения, потому что я не знаю как надо делать, вот и ищу информацию в инете, вот в том числе и от Вас узнаю :)

Решил убрать www. только потому что прочитал что это вроде как анахронизм, и вот опять же у Smallbear в выложенном им robots.txt (https://opencartforum.com/topic/3983-внутреня-оптимизация-сайта-на-opencart/page__view__findpost__p__26822) то же присутствует указание главного зеркала без www.

Вот и решил что лучше без него. А вот судя по вашим словам, получается что лучше указывать www. раз все равно идет обращение на него.

Да, эта строка предписывает пауку не включать в индекс статьи по таким URL.

Если используется ЧПУ то это нормально, если нет - то эту строку надо убирать.

ЧПУ используется, т.е. seo-url в админке включен.

Я как раз таки и пытаюсь пока сайт только что сделан, заранее все правильно настроить, что б потом не мучаться.

Вот пожалуйста как вы и просили:

robots.txt

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: barbados-fs.ru

Sitemap: http://barbados-fs.ru/sitemap.xml.gz

Sitemap: http://barbados-fs.ru/sitemap.xml

Allow: /

и .htaccess

#Принудительная кодировка для браузеров

AddDefaultCharset utf-8

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.(tpl|ini|log|txt)">

Order deny,allow

Deny from all

</FilesMatch>

<Files robots.txt>

Allow from all

</Files>

# Необходимо для ЧПУ.

RewriteEngine On

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

RewriteCond %{HTTP_HOST} ^www.barbados-fs\.ru$ [NC]

RewriteRule ^(.*)$ http://barbados-fs.ru/$1 [R=301,L]

### Additional Settings that may need to be enabled for some servers

### Uncomment the commands by removing the # sign in front of it.

### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:

# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:

# php_flag magic_quotes_gpc Off

То что у тебя в адресной строке

http://"мой сайт".ru/index.php?_route_=

говорит о том что ты что то не так написал в .htaccess

Что то мне подсказывает что за этот _route_ отвечает строка RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA] которая кстати была прописана изначально в файле (я ее туда не вписывал).

Прислушался к вашим словам и переделал на перенаправление на www

И чУдны пути господни, но в таком виде

robots.txt

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: www.barbados-fs.ru

Sitemap: http://www.barbados-fs.ru/sitemap.xml.gz

Sitemap: http://www.barbados-fs.ru/sitemap.xml

Allow: /

и .htaccess

#Принудительная кодировка для браузеров

AddDefaultCharset utf-8

# Подробнее на https://myopencart.com

Options +FollowSymlinks

# Запретить листинг директорий

Options -Indexes

# Закрыть доступ к файлам шаблонов

<FilesMatch "\.(tpl|ini|log|txt)">

Order deny,allow

Deny from all

</FilesMatch>

<Files robots.txt>

Allow from all

</Files>

# Необходимо для ЧПУ.

RewriteEngine On

RewriteBase /

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]

RewriteRule ^(.*)$ http://www.barbados-fs.ru/$1 [R=301,L]

### Additional Settings that may need to be enabled for some servers

### Uncomment the commands by removing the # sign in front of it.

### If you get an "Internal Server Error 500" after enabling, then restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:

# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:

# php_flag magic_quotes_gpc Off

Не могу зайти в админку сайта (ни ошибок, ни чего не выдает, просто не заходит (такая проблема уже где-то тут была описана).

Поменял файлы на первоначальный вариант (без www) в админку зашел нормально.

Даж не знаю что и делать :(

------------------------

P.S. интересная вещь наблюдается. Сейчас (ну что б админка работала) перенаправление стоит на сайт без www, так вот если добавлять в яндекс свой сайт с www, то как уже писал выше все добавляется нормально, сайт становится в очередь на индексацию, ответ от сервера поступает о выполнении команды на перенаправление 301.

Попробовал добавить яндексу свой сайт, но уже без www. Проверку прошел, ответ от сервара пришел правильный (200 ОК), НО в статусе состояния индексирования написано

"Ваш сайт не проиндексирован (Сайт не проиндексирован из-за ошибок DNS. """Индексирование сайта невозможно из-за ошибок при попытке определить IP-адрес сайта по его имени (с помощью запроса к DNS-серверу)""

Я так понимаю он обращается к моему хосту и тут начинаются проблемы с WWW :)

[Vladzimir]

У себя я сделал так чтобы не заморачиваться каждый раз с доменом при редиректе на www.

Все работает автоматически

RewriteCond %{HTTP_HOST} !^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [L,R=301]

[shpakov]

Все работает автоматически

RewriteCond %{HTTP_HOST} !^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [L,R=301]

Можете пояснить?

строка RewriteCond вроде как отвечает откуда делать редирект, а сторока RewriteRule на что делать редирект.

А у вас в обеих строках есть www. Или {HTTP_HOST} ему говорит о том, что он должен посмотреть в файл robots.txt и определить, какой HOST ему нужен? (извиняюсь, если говорю откровенные глупости, просто с "этой темой" вообще не знаком.

[ua13dark]

Можете пояснить?

строка RewriteCond вроде как отвечает откуда делать редирект, а сторока RewriteRule на что делать редирект.

А у вас в обеих строках есть www. Или {HTTP_HOST} ему говорит о том, что он должен посмотреть в файл robots.txt и определить, какой HOST ему нужен? (извиняюсь, если говорю откровенные глупости, просто с "этой темой" вообще не знаком.

Попробуйте, вот так:

RewriteCond %{HTTP_HOST} ^www\.(.+)$ [NC]

RewriteRule ^(.*) http://%1/$1 [L,R=301]

[Yesvik]

Правила для mod_rewrite должны начинаться так

RewriteEngine On
RewriteBase /

где RewriteEngine On включает mod_rewrite, а RewriteBase / устанавливает путь относительно которого будут работать правила mod_rewrite

Если магазин установлен в корень сайта то в RewriteBase пишется слеш, если магазин установлен в папку то надо указывать эту папку.

Например, если магазин установлен в папку shop то надо писать RewriteBase /shop

Заканчиваться правила должны вот так

RewriteCond %{REQUEST_FILENAME} !-f
 RewriteCond %{REQUEST_FILENAME} !-d
 RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

Это, так сказать, последняя инстанция действия которой можно описать примерно так:

Если для запроса нет соответствующего файла ( RewriteCond %{REQUEST_FILENAME} !-f) или директории ( RewriteCond %{REQUEST_FILENAME} !-d) то отправлять запрос скрипту index.php в параметре _route_ со всеми параметрами ( RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]) и пусть скрипт сам принимает решение что с этим запросом делать.

Все свои правила надо добавлять между этими блоками

В файле .htaccess вот этот блок

RewriteEngine On
RewriteBase /
 RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]
RewriteRule ^(.*)$ http://www.barbados-fs.ru/$1 [R=301,L]

надо исправить на такой

RewriteEngine On
RewriteBase /
 
RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]
RewriteRule ^(.*)$ http://www.barbados-fs.ru/$1 [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

либо с использованием универсальной записи, не привязанной к конкретному домену, как предложил Vladzimir

RewriteEngine On
RewriteBase /
 
RewriteCond %{HTTP_HOST} !^$  [NC]
RewriteCond %{HTTP_HOST} !^www\. [NC]
RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

RewriteCond %{HTTP_HOST} !^www\. [NC]

это не откуда редиректить, это условие при истинности которого исполняется следующее за условием правило

В данном случае уловие на человеческом языке звучит примерно так: если HTTP_HOST не начинается с www. без учета регистра символов

Кроме этого я добавил в начало ещё одно условие которое проверяет не пустая ли у нас HTTP_HOST

RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [L,R=301]

А это правило которое выполнится если предыдущее условие истина.

В условии я убрал (.*)$ - это лишнее и никак не используется ... этот кусок условия звучит так: могут быть любые символы до конца строки которые надо запомнить... А нам пофиг что там может или не может быть и запоминать нам это не надо...

(.*)$ может понадобиться только для редиректа с www на без www так как нам надо получить HTTP_HOST без www

Это вот так делается

RewriteCond %{HTTP_HOST} !^$  [NC]
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

Если после настройки переадресации на www не получается зайти в админку то скорее всего ты устанавливал магазин по адресу без www

Что-бы работало надо изменить адрес в конфигах и в настройках на адрес с www

По поводу robots.txt почитай тут http://help.yandex.r...d=996567#996571

Особенно обрати внимание на это примечание

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.

[shpakov]

Уважаемый, Yesvik низкий Вам поклон, за то, что так все разжевали!

Я же описал эти различия...

Да-да дико извиняюсь, слишком поторопился с выводами. С первого раза видимо просмотрел Ваше указание на это.

и так уже 5-й раз это сообщение правлю. Думал успею убрать свои вопросы на которые вы уже ответили, но вот как оказалось, пока правил их, вы успели их увидеть.

[Yesvik]

Единственное что хотел уточнить (памятуя про то что в частности обратный слеш, как вы говорили съедается)

Ваш код:

RewriteCond %{HTTP_HOST} !^$ [NC]

RewriteCond %{HTTP_HOST} !^www\. [NC]

RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [R=301,L]

и его код:

RewriteCond %{HTTP_HOST} !^www\.(.*)$ [NC]

RewriteRule ^(.*)$ http://www.%{HTTP_HOST}/$1 [L,R=301]

Имеют видимые отличия (говорю, что "видимые" так они возможно и имеют одинаковое назначение, но мне как человеку далекому от программных это не очевидно)

Я же описал эти различия...

В условии я убрал (.*)$ - это лишнее и никак не используется ... этот кусок условия звучит так: могут быть любые символы до конца строки которые надо запомнить... А нам пофиг что там может или не может быть и запоминать нам это не надо...

Кроме этого я добавил в начало ещё одно условие которое проверяет не пустая ли у нас HTTP_HOST

[shpakov]

Если после настройки переадресации на www не получается зайти в админку то скорее всего ты устанавливал магазин по адресу без www

Что-бы работало надо изменить адрес в конфигах и в настройках на адрес с www

Админка сайта открывается по адресу без www. Сам магазин открывается и с www и без него, судя по всему в зависимости как я задаю редирект (если с www, то и магазин откроется с www).

но ведь вот какая штука - ладно у меня действительно магазин не в папке www, но у товарища путь до магазина www\мой-магазин\ и у него при такой же технике редиректа (как выяснилось ошибочной, т.к. делал так же как и я) с без www на www то же были проблемы со входом в админку. Может это как раз из-за того, что сами команды редиректа были вставлены не в то место?

По поводу robots.txt почитай тут http://help.yandex.r...d=996567#996571

Особенно обрати внимание на это примечание

Да, спасибо, почитал еще днем до вашего ответа.

Простите за тупость, но я не совсем понял, про магазин установленный в папке.

Т.е. мне же на хостинге так и так указывают папку куда я его должен установить.

Т.о. допустим мой имеет путь

/home/shpakov/html/barbados-fs/

т.е. получается что стит и не в одной папке а минимум в 3-х.

Значит строка RewriteBase / для меня будет иметь вид:

RewriteBase /home/shpakov/html/barbados-fs

[Yesvik]

(.*) это не точка и любые символы... В данном случае точка без экранирующего слеша и означает - любые символы, а модификатор * означает что символов может быть 0 или больше. Скобки группируют этот набор символов и запоминают для последующего использования.

По поводу папки уточню...

Речь идёт не о файловой системе, а о структуре папок от DOCUMENT_ROOT

Например, если у тебя магазин открывается по адресу http://www.domain.tld/ то магазин установлен в корень сайта и надо писать RewriteBase /, а если магазин открывается по адресу http://www.domain.tld/shop/ то надо писать RewriteBase /shop

P.S. Да уж... ты так быстро меняеш свои сообщения что пока я отвечаю вопроса уже нет и мои ответы выглядят нелепо...

[shpakov]

Еще раз спасибо за такие развернутые ответы!

И извините что так быстро меняю свои сообщения, хотя как мне кажется Ваши сообщения тут вообще в принципе не могут выглядеть нелепо :)

По поводу папок все ясно.

Не знаю обратили вы внимание или нет, я выше писал, что ладно я не могу зайти в админку (сайт имеет вид : http://мой сайт/admin) но и у товарища были такие же проблемы при редиректе на www (если он использовал настройки такие же как у меня), хотя его админка имеет вид http://www.мой сайт/admin

Так что дело видимо именно во вставленном коде не на свое место, т.е. не так:

RewriteEngine On 
RewriteBase /         
RewriteCond %{REQUEST_FILENAME} !-f         
RewriteCond %{REQUEST_FILENAME} !-d         
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]         
RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]         
RewriteRule ^(.*)$ http-~~-//www.barbados-fs.ru/$1 [R=301,L]

а вот так:

RewriteEngine On    
RewriteBase /    

RewriteCond %{HTTP_HOST} ^barbados-fs\.ru$ [NC]    
RewriteRule ^(.*)$ http-~~-//www.barbados-fs.ru/$1 [R=301,L]  

RewriteCond %{REQUEST_FILENAME} !-f    
RewriteCond %{REQUEST_FILENAME} !-d    
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

Пустые строки между командами, как вы написали, нужны обязательно? Или вы просто так выделили нужно место вставки этих команд?

Воспользовался вашими советами как временное решение (ибо при редиректе на www в админку так и не попадаю, вы говорили про причину, но хотелось проверить собственноручно):

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_HOST} !^$ [NC]

RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]

RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]

Получается теперь надо трести хостера моего, что б мой сайт находился в папке www? Или вернее что б она была переименована на www.мой сайт?

Yesvik, скажите пожалуйста, а вообще стоит заморачиваться с этими редиректами на www или на "без www"? Еслтьли во всем этом разница?

Работает у меня сейчас с "без www", может так и оставить?

P.S. А вообще чудеса какие-то творяться. Сайт у меня без www. При этом еси ставить 301 на www,то в админку не войдешь, если ставить на без www. то все работает на ура, но яндекс не индексирует сайт без www ругается на ошибки ДНС.

Вот что хошь, то и думай. :(

----------

что то меня как то смущает результат проверки моего robots.txt яндексом

16-32 User-agent: Yandex

Disallow: /index.php?route=account

...

Allow: /

[shpakov]

Провел опыт и обнаружился интересный момент:

Если перенаправление не делаешь, то проблем со входом на сайт и в админку НЕТ.

Если делаешь перенаправление на сайт с www. то нельзя войти в админку (никаких ошибок не выдает - просто не входит)

Если делаешь перенаправление на сайт без www то в админку входит нормально, зато перестает входить зарегистрированному пользователю, либо зарегистрироваться новому.

Т.к. перенаправление делать надо по любому буду пробовать так как и советовал многоуважаемый Yesvik

Если после настройки переадресации на www не получается зайти в админку то скорее всего ты устанавливал магазин по адресу без www

Что-бы работало надо изменить адрес в конфигах и в настройках на адрес с www

-------------

Метод научного тыка творит чудеса :) , в настройках магазина в поле "Адрес магазина (URL):" был указан полный адрес с www. Изменил его на адрес без www проблема с этим конфликтом решилась, т.е. при пере адресации на без www теперь все работает, и админка и рега пользователей.

Хотя так пока и не понятно, где же еще была пропущена настройка говорящая что админка должна работать без www. т.к. получается что самому магазина\у работу с www я назначил сам, указав в строке "Адрес магазина (URL):" полный адрес с www.

Но что то мне подсказывает что надо докапаться до истины и поменять все на www. т.к. яндекс не хочет индексировать сайт без www сетуя на то, что "Индексирование сайта невозможно из-за ошибок при попытке определить IP-адрес сайта по его имени (с помощью запроса к DNS-серверу"

Змінено 21 вересня 2011 користувачем shpakov

[Yesvik]

Но что то мне подсказывает что надо докапаться до истины и поменять все на www. т.к. яндекс не хочет индексировать сайт без www сетуя на то, что "Индексирование сайта невозможно из-за ошибок при попытке определить IP-адрес сайта по его имени (с помощью запроса к DNS-серверу"

Opencart тут не виноват, обратись с этим вопросом к хостеру.

[shpakov]

Блин, читал у яндекса в помощи почему это происходит, сейчас попробовал найти -не смог :(

[shpakov]

Уважаемые, не могли бы подсказать правильно-ли оформлен robots.txt?

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: www.barbados-fs.ru

Sitemap: http://www.barbados-fs.ru/sitemap.xml

Allow: /

Хотелось бы, что бы под индексацию попадали и статьи, размещаемые на сайте.

ЧПУ на сайте включен.

Т.к. robots.txt составлял не сам, а честно передрал, то немного смущают эти позиции:

Disallow: /index.php?route=information/information&information_id= (думал что это и есть статьи)

Disallow: /*?keyword (это ж вроде ключевые слова? Но почему-то их индексация запрещена)

Disallow: /system/ (запрещена индексация каталога? а как же тогда будет индексироваться товар?)

В общем большая просьба посмотреть, все ли правильно записано.

Заранее всем благодарен.

[Yesvik]

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: www.barbados-fs.ru

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Sitemap: http://www.barbados-fs.ru/index.php?route=feed/google_sitemap

[shpakov]

Уважаемый, Yesvik огромное спасибо!

[soupbubble]

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Host: www.barbados-fs.ru

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Sitemap: http://www.barbados-fs.ru/index.php?route=feed/google_sitemap

Добрый день!

Не могли бы Вы помочь настроить файл robots.txt а то в web master закрыты категории от индексации (пишет что заблокирован файлом роботс)

User-Agent: *

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /index.php?route=information/contact

Disallow: /index.php?route=common/home

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Disallow: /cgi-bin

Sitemap: http://site/sitemap.xml.gz

Sitemap: http://site/sitemap.xml

User-agent: Yandex

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout

Disallow: /index.php?route=common

Disallow: /index.php?route=product

Disallow: /index.php?route=information/information&information_id=

Disallow: /index.php?route=information/contact

Disallow: /index.php?route=common/home

Disallow: /*?manufacturer

Disallow: /*?sort

Disallow: /*?order

Disallow: /*?keyword

Disallow: /admin/

Disallow: /download/

Disallow: /catalog/

Disallow: /system/

Disallow: /cgi-bin

Host: vrozetku.com.ua

Причем есть страницы которые правильно закрыты (site/subcategory), но и закрыты некоторые нужные страницы (site/category или site/category/subcategory)

[Yesvik]

Не могли бы Вы помочь настроить файл robots.txt а то в web master закрыты категории от индексации (пишет что заблокирован файлом роботс)

По состоянию сайта на данный момент я не вижу в robots.txt ничего закрывающего доступ к категориям. Возможно это старое сообщение.

[soupbubble]

По состоянию сайта на данный момент я не вижу в robots.txt ничего закрывающего доступ к категориям. Возможно это старое сообщение.

Спасибо за то что просмотрели. Сообщение это не старое.

[Yesvik]

В robots.txt нет ни одной директивы предписывающей не включать в индекс категории.

Дай ссылку на закрытую категорию и точный текст от Яши.

[MasterAlex]

Вопрос

Disallow: /*?sort
Disallow: /*?order
Disallow: /*?keyword

для чего нужен знак "?" и нужен ли он вообще в данном случае?

URL сортировки на сайте выглядит так /index.php?route=product/category&path=82&sort=p.price&order=ASC

или всеже в моем случае должно быть так?

Вопрос

Disallow: /*sort
Disallow: /*order
Disallow: /*keyword

[Yesvik]

Вопрос некорректно выдернут из контекста...

.

Как правило, кроме этих директив

Disallow: /*?sort
Disallow: /*?order
Disallow: /*?keyword

присутствует ещё и такая директива

Disallow: /index.php?route=product

и для приведённой ссылки

URL сортировки на сайте выглядит так /index.php?route=product/category&path=82&sort=p.price&order=ASC

абсолютно без разницы что идёт после /index.php?route=product

При использовании ЧПУ приведённая ссылка будет вот такой /alias?sort=p.price&order=ASC и тогда нужна директива

Disallow: /*?sort

[Yesvik]

Yesvik, скажите пожалуйста, а вообще стоит заморачиваться с этими редиректами на www или на "без www"? Еслтьли во всем этом разница?

Если нет редиректа, или других предписаний, какой вариант считается основным (с www или без), поисковики включают в индекс страницы и с www и без www...

Со временем на сайт приходит "паук-зеркалировщик" и склеивает страницы... но без конкретных предписаний и редиректов нельзя предсказать какой вариант будет выбран... Самое тоскливое в том, что "склейку" можно ожидать очень долго, и 3 и 6 месяцев... Как правило ни кто не сидит и не ждёт склейки, а начинает прикупать ссылки, регистрироваться в каталогах... указывая ссылку, например, c www, а потом пришел паук и склеил на вариант без www.

Конечно можно напрячься и изменить ссылки которые Вы размещали на вариант без www, но что делать с естественными ссылками? Кто-то опубликовал ссылку с www, кто-то без и изменить эти ссылки Вы не можете - в результате вес страницы расщепляется...

Если на сайте присутствует редирект - это четкая подсказка пауку какой вариант предпочесть при склейке, и с уверенностью в 99,9% можно начинать прикупать и публиковать ссылки в нужном варианте. Вес страницы от естественных ссылок не будет расщепляться, а будет отдан странице указанной в редиректе.