Редактировать robots.txt

[Elefhl]

Добрый день.

Когда я поставил опенкарт, то robots тупо скопировал с топового сайта на таком движке/

Теперь вот думаю сократить его.

Большинство закрытых страниц отдают 404, а все страницы моего сайта имеют rel:canonical

К примеру страницы сортировки товара в категории

/?sort=pd.name&order=ASC

/?sort=p.price&order=ASC

имеют

rel="canonical" - /название категории/

зачем их закрывать в robots?

Я правильно мыслю?

 

Гугл рекомендует ведь именно таким способом от дублей избавляться

 

?

[markimax]

Добрый день.

Когда я поставил опенкарт, то robots тупо скопировал с топового сайта на таком движке/

Теперь вот думаю сократить его.

Большинство закрытых страниц отдают 404, а все страницы моего сайта имеют rel:canonical

К примеру страницы сортировки товара в категории

/?sort=pd.name&order=ASC

/?sort=p.price&order=ASC

имеют

rel="canonical" - /название категории/

зачем их закрывать в robots?

Я правильно мыслю?

 

Гугл рекомендует ведь именно таким способом от дублей избавляться

 

?

Правильно мыслите.

[Tom]

Когда я поставил опенкарт, то robots тупо скопировал с топового сайта на таком движке/

 

Ссылку фстудию. Хочу видеть этот топовый сайт на опенкарт.А вообще копипаст это дело вечно вылазящее боком.

[Elefhl]

Да не помню, где-то был обзор магазинов на этом движке и там был магазин японских джинсов в Москве.

Ну я тупо забил в Яндексе джинсы Москва и мне этот сайт выпал третьим

 

Есть вопрос по некоторым моментам

/system -404 зачем закрыта

/catalog -404 зачем закрыта

Змінено 19 вересня 2016 користувачем Elefhl

[markimax]

Да не помню, где-то был обзор магазинов на этом движке и там был магазин японских джинсов в Москве.

Ну я тупо забил в Яндексе джинсы Москва и мне этот сайт выпал третьим

 

Это какой ? Не выдало мне там магазинов на opencart

Разве что на "японские джинсы Москва" из 1 млн. результатов

japan-jeans.ru

Там еще стоит мой модуль с кучей уникального контента

[Tom]

Ну этот то я знаю.Было дело.Только смысла в копировании их роботса ноль, там всё отличии от дефолтного одна строчка 

 

host: ссылка на магазин.

 

Здесь не хватает нескольких моментов.Во первых открыть путь до скриптов и стилей боту,что бы он его в режиме "Смотреть как гугл бот" отображал корректно.Во вторых как минимум сайтмап.

 

PS Ну и копипастить себе то чего нет какой смысл?

[Elefhl]

Честное пионерское не помню.

 

Это было месяц назад и я не в Москве и джинсы через интернет не покупаю)))))))))))

[Elefhl]

Ну этот то я знаю.Было дело.Только смысла в копировании их роботса ноль, там всё отличии от дефолтного одна строчка 

 

Вот. он

Скрипты я разрешил сразу

Allow: /catalog/view/theme/demo/stylesheet

Allow: /catalog/view/theme/demo/bootstrap

Allow: /catalog/view/theme/default/stylesheet

Allow: /catalog/view/javascript

и сайтмап тоже сделал сразу

Змінено 19 вересня 2016 користувачем Elefhl

[Tom]

Я к тому что их роботс именно под них.Нужно взять дефолтный из  архива установочного и в него добавить свои данные.