опять же robots

[balamla]

Сёрча форум, видел множество вариантов роботса, несколько тем аля "внутренняя оптимизация о опенкарт"

но почему то ниразу не видел, чтоб народ закрывал вот эти страницы

http://demo.myopencart.ru/index.php?route=information/sitemap

И вот меня стали сомнения одолевать, надо ли их закрывать?) Что скажете?

и еще

у многие за эталон держат нечто подобное

Disallow: /*route=account/login

Disallow: /*route=account/create

Disallow: /*route=account/success

Disallow: /*route=account/logout

почему нельзя все это заменить одним правилом

Disallow: /*route=account

?

В чем мои домыслы верны, а в чем нет?

[tim21701]

Файл Robots.txt - необходим для того, чтобы указать поисковой машине, какие страницы сайта индексировать не следует.

Например, в официальной сборки OpenCart файл Robots.txt отсутствует изначально. А в "нашей", уже добавлен, так сказать для удобства, и его применение/использование, зависит только от Вас самих. В общем, когда Вы задумаетесь о том, как бы сделать так, чтобы эта страница или этот каталог не попали в индекс поисковой машины, вот тогда Вам и потребуется этот файл. Но, по правде говоря, поисковые системы и так не индексируют страницы, на которые требуются логин и пароль, а во-вторых, если на эту страницу никто не ссылается, то она никогда и не будет найдена поисковиками. Так что, можете особо не париться.

На основе цитированного (главное подчеркнул), всё - что Вы написали выше - излишне.

[balamla]

http://snastik.com/index.php?route=account/login

вроде и в роботсе есть, а вроде и ПР 1 и в индексе есть) И яндекс хавает

[Yesvik]

Файл Robots.txt - необходим для того, чтобы указать поисковой машине, какие страницы сайта индексировать не следует.

Не совсем так, точнее совсем не так...

В robots.txt можно указать какие страницы не надо включать в индекс, но это не гарантирует что эти указания будут выполнены, и абсолютно не означает что поисковики не будут шариться по этим страницам.

если на эту страницу никто не ссылается, то она никогда и не будет найдена поисковиками

Если интересно могу рассказать как поисковики находят и включают в индекс сайты о которых знает пару человек и ссылок на эти сайты 100% нет...

[balamla]

tim21701, пользуясь опытом, а не чьими то фразами сделайте заключение.

Yesvik, если хостинг шаред, то 1) есть куча сервисов, которые показывают, какие сайта там прикручены - оттуда роботы и лезут на домен, который регнут пару дней назад. Да и сами роботы походу окучивают хорошо все сайты, что на одном ипе огромной пачкой сидят.

А вот по моим вопросам, Yesvik, что скажете:?

ps: палю тему, можно в топе норм сидеть, если прихоститься хорошо;)

[Yesvik]

Yesvik, если хостинг шаред, то 1) есть куча сервисов, которые показывают, какие сайта там прикручены - оттуда роботы и лезут на домен, который регнут пару дней назад. Да и сами роботы походу окучивают хорошо все сайты, что на одном ипе огромной пачкой сидят.

Свой сервак, соседей нет, поднят новый домен третьего уровня, разверут сайт для демонстрации заказчику, через пару - тройку дней сайт в индексе.... все в истерике, сайт с реальным контентом....

Оказалось заказчик когда-то устанавливал всякую шнягу и его браузер был награждён разными барами... через бары и протекло.

Так что у меня железное правило - .htpasswd и сплю спокойно...

А вот по моим вопросам, Yesvik, что скажете:?

Дело в том что в первую очередь народ прикрывает дубли, а судьба страниц аккаунта мало кого интересует...

Как именно закрывать route=account роли не играет, поисковики по любому будут туда ломиться упираясь в страницу авторизации.

[tim21701]

Не совсем так, точнее совсем не так...

Во как :blink:

no comment