robots

[Rubik]

Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2

[RHCk]

В 25.05.2017 в 10:45, Rubik сказал:

где найти правильный rorobts.txt

Единственно правильного robots.txt не существует.

Если вы используете сборку без дополнений, того что идёт из коробк, достаточно.

Если же вы расширяете функционал доп.модулями, тут нужно смотреть индивидуально.

Модули (фильтры например) могут добавлять лишние страницы, которые не нужны в индексе ПС.

Их и нужно закрывать в robots.txt от индексации.

 

 

[Yoda]

10 минут назад, chukcha сказал:

Сделайте роботс для разных магазинов

 

Поделитесь...

Что ж вы не поделились?

Что ж вы не поделились?

 

Да? А вддруг отвалится кусочек, и кто-то выложит идеальный код.
Без
Не учишься...

 

Удачи, я ваша волшебная фея.
Идеальный роботс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое.

 

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system
Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp



User-agent: Yandex

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system

Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp
Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву:

RewriteRule ^robots.txt$ robots.php

Я надеюсь все довольны.

[chukcha]

Прекрасно

 

т.е.

Disallow:/index.php?route=product/quickview

 

/?route=product/quckview -можно индексировать.

Где же идеальный?

 

[Yoda]

Простите, у вас со зрением плохо?

Цитата

Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое.

 

[chukcha]

46 минут назад, Yoda сказал:

Идеальный роботс для разных магазинов за 3 минуты:

Это первично.

 

Индивидуальный проект - вторичен.

 

Да, я в очках. И...?

[RHCk]

24 минуты назад, chukcha сказал:

И...?

Можно - возможность, нужно - необходимость.

Не всё то, что возможно, суть необходимо.

Страницы фильтра, например, тоже можно индексировать, и ПСы за милую душу это делают, если не закрыть их в robots.txt

Тогда, следуя Вашей логике, приходим к тому, что необходимость в robots.txt отпадёт совсем.

 

24 минуты назад, chukcha сказал:

...первично

...вторичен.

Неправильная расстановка приоритетов этапов решения задач проекта зачастую заводят решение задач в тупик, или непрогнозируемо увеличивает бюджет.

 

Также в сети более чем достаточно ресурсов с описанием синтаксиса robots.txt

Ищутся по запросу 'синтаксис robots.txt'.

И далее Вашими же словами:

1 час назад, chukcha сказал:

не учишься - плати.

И головной боли не будет

 

С уважением.

Змінено 26 травня 2017 користувачем RHCk

[chukcha]

2 минуты назад, RHCk сказал:

Неправильная расстановка приоритетов этапов решения

Неправильная расстановка возможностей.

 

Нужен идеальный

Сейчас за 3 минтуы

 

Вот пример из реального проекта.

 

Где идеальный?

4 минуты назад, RHCk сказал:

Страницы фильтра тоже можно индексировать,

Такс.. а в реальном проекте у нас что?

ага - закрыли

 

Так нужно индексировать? Или можно индексировать?

 

Теперь берем предложенный генератор, не.. еще не купили, а толко с автором пообщались

Выяснили задачи, наличие закрываемых сущностей, (т.е. ТЗ)

Установили, настроили, забыли.

 

И.. да конечно -

9 минут назад, RHCk сказал:

Ищутся по запросу 'синтаксис robots.txt'.

Это никто не отменял

 

В случае проблем - к автору модуля. Не на форум, а к автору, который расскажет, пояснит, в случае необходимости обратится к специалисту из команды.

 

зы. если что я не в той команде.

ззы. Я также не приветствую - обращайтесь сделаю, в личку. и подобное. Но данный случай - это в первую очередь заявить о себе и разработке, во вторую заставить ТС воспользоваться поиском, а вдруг не умеет? И третье , и четвертое можно найти.
зззы В тех случаях где я заинтересован в работе я сразу пишу в личку. И.. но почему я имею свой генератор robots
 

 

 

[RHCk]

31 минуту назад, chukcha сказал:

Неправильная расстановка возможностей.

Возможности безграничны. Время невосполняемый ресурс. К сожалению.

31 минуту назад, chukcha сказал:

берем ... генератор... Выяснили задачи... Установили, настроили... В случае проблем - к автору модуля... в случае необходимости обратится к специалисту...

Уверен, это займёт больше трёх минут.

И это только то, что касается robots.txt

31 минуту назад, chukcha сказал:

Но данный случай - это в первую очередь заявить о себе

Я заранее прошу извинить за оффтоп, далее исключительно ассоциации, никаких аналогий, в лёгкой непринуждённой форме:

Скрытый текст

Шёл джигит по горам, услышал крик... крик повторяется.

Джигит пошёл на крик, чтобы разузнать в чём дело.

Зашёл в пешеру, а там Синяя Птица Удачи сидит голой ж*п*й на раскалённой сковородке и кричит.

Джигит спрашивает: Зачем, слушай, делаешь так?

СПУ: А по-другому вы меня не находите...

ИМХО, лучший способ заявить о себе - быть полезным, тогда будут и рекомендации.

А публично навязывать свои услуги, думаю, не серьёзно это. Совсем.

31 минуту назад, chukcha сказал:

но почему я имею свой генератор robots

У каждого есть свои скелеты в шкафу

Змінено 26 травня 2017 користувачем RHCk

[Paint]

Только на этом форуме данный вопрос обсуждается в нескольких отдельных темах и нигде нет ясности.

Не понятно почему надо именно так и зачем.

Скрытый текст

 

 

Новичку типа меня разобраться сложно и я не уверен, что разобрался до конца и все сделал правильно, но возможно кому-то поможет мой robots.txt с пояснениями, а кто-то найдет в нем ошибки и поправит:

Скрытый текст

#############################################
#некоторые выдержки по синтаксису robots.txt#
#############################################
#Disallow: / - блокирует доступ робота к страницам, начинающимся с /xxx
#Allow: / разрешает доступ робота к разделам начинающимся с /xxx
#Перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки.
#Символ # предназначен для описания комментариев.
#Все, что находится после символа # и до первого перевода строки не учитывается.
#Спецсимвол * означает любую (в том числе пустую) последовательность символов
#Пример: Disallow: /*private - запрещает не только '/private', но и '/cgi-bin/private'
#(По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *
#Чтобы отменить * на конце правила, можно использовать спецсимвол $, например:
#Пример: Disallow: /example$ - запрещает '/example', но не запрещает '/example.html')
#
User-agent: *
##################################
#стандартный robots.txt ocStore2 #
##################################
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
#
####################
#добавлено - разное#
####################
Disallow: /compare-products # Сравнение товаров
Disallow: /search # страница поиска
Disallow: /cart # Корзина
Disallow: /checkout # Оформление заказа
Disallow: /*simple #  Все страницы модуля simple
#Disallow: /*success # Страницы Успешного заказа
Disallow: /gift-vouchers
#
############################
#добавлено - личный кабинет#
############################
Disallow: /login # Авторизация в Личном Кабинете
Disallow: /logout # Выход из Личного Кабинета
Disallow: /my-account # Личный Кабинет
Disallow: /vouchers # Подарочный сертификат
Disallow: /wishlist # Мои закладки
Disallow: /edit-account # Изменение учетной записи (->simpleedit)
Disallow: /create-account # Создание учетной записи (->my-account)
Disallow: /order-history # История заказов
Disallow: /newsletter # Подписка на новости
Disallow: /forgot-password # Напомнить пароль
Disallow: /downloads # файлы для скачивания
Disallow: /transactions # История платежей
Disallow: /address-book # Личный кабинет/Список адресов доставки
Disallow: /reward-points # Бонусные баллы
Disallow: /change-password # Смена пароля
Disallow: /wishlist # Мои закладки
Disallow: /*recurring # Периодические платежи
Disallow: /*return # Все страницы Возврата товара
Disallow: /*affiliate # Все страницы Кабинета Партнера
#
#####################################################
#добавлено - разблокировка скриптов и стилей шаблона#
#####################################################
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
#
Sitemap: https://мой_домен/index.php?route=feed/google_sitemap

 

User-agent: Yandex
##################################
#стандартный robots.txt ocStore2 #
##################################
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
#
####################
#добавлено - разное#
####################
Disallow: /compare-products # Сравнение товаров
Disallow: /search # страница поиска
Disallow: /cart # Корзина
Disallow: /checkout # Оформление заказа
Disallow: /*simple #  Все страницы модуля simple
#Disallow: /*success # Страницы Успешного заказа
Disallow: /gift-vouchers
#
############################
#добавлено - личный кабинет#
############################
Disallow: /login # Авторизация в Личном Кабинете
Disallow: /logout # Выход из Личного Кабинета
Disallow: /my-account # Личный Кабинет
Disallow: /vouchers # Подарочный сертификат
Disallow: /wishlist # Мои закладки
Disallow: /edit-account # Изменение учетной записи (->simpleedit)
Disallow: /create-account # Создание учетной записи (->my-account)
Disallow: /order-history # История заказов
Disallow: /newsletter # Подписка на новости
Disallow: /forgot-password # Напомнить пароль
Disallow: /downloads # файлы для скачивания
Disallow: /transactions # История платежей
Disallow: /address-book # Личный кабинет/Список адресов доставки
Disallow: /reward-points # Бонусные баллы
Disallow: /change-password # Смена пароля
Disallow: /wishlist # Мои закладки
Disallow: /*recurring # Периодические платежи
Disallow: /*return # Все страницы Возврата товара
Disallow: /*affiliate # Все страницы Кабинета Партнера
#
#####################################################
#добавлено - разблокировка скриптов и стилей шаблона#
#####################################################
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
#
Clean-param: tracking

Sitemap: https://мой_домен/index.php?route=feed/yandex_sitemap
#

Host: https://мой_домен.ru

             

             У многих в их примерах видел когда было прописано

Disallow: /*route=account/simpleedit
Disallow: /simplecheckout
Disallow: /simpleregister

 

             но согласно правил синтаксиса эти 3 строки можно заменить одной

Disallow: /*simple

            и т.п.

            

Зачем добавлять что-то в robots.txt ответил автор одного модуля в его описании здесь

Зачем открывать скрипты и стили шаблона прочитал здесь

 

И когда уже кое-что с этим robots.txt стало более менее понятно, попадаю на эту тему

и оказывается что он и не нужен вовсе этот robots.txt 

а нужно в каждом контроллере закрывать нужные страницы от индексации с помощью мета-тега robots...

 

Баста, приехали!!!

 

Вот robots.txt моего товарища, сайт которого в ТОП-3 ПС по большинству запросов, свойственных его нише (Проверял, причем чаще всего на 1-й).

Сайт на joomla, но сути это не меняет:

Скрытый текст

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

 

Возможно ему просто с нишей повезло. Но всё равно, вам не кажется, что все уж слишком заморочились с этим вопросом? 

Змінено 14 червня 2017 користувачем Paint

[Tom]

Не плохой пост.Плюсанул. Моё мнение такое,купили вы себе квартирку,полазили по журналам о ремонте, каталогам мебели и штор, посмотрели ютьюб и вперёд,делать как у всех но сугубо своё индивидуальное.

Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина.

Скрыть страницы какого либо модуля,фильтра итп.Открыть стили,скрипты и картинки своего шаблона,для мобильной версии. Итд итп.Видимо поэтому столько тем,в каждой из которых десятки мнений и решений.Ваше в любом случае будем средним арифметическим ....

Как то так.

[magzhan9292]

Для идеальности надо убрать строку

Disallow: /admin  

[Grodas]

В 25.05.2017 в 10:45, Rubik сказал:

Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2

Правильного robots.txt в природе не существует.

Все зависит от того, что именно нужно запретить к индексации.

Для составления robots.txt существуют некие правила от ПС, которые как правило (заметьте), носят рекомендательный характер.

Подробнее почитать от Гугла и Яндекса:

• https://support.google.com/webmasters/answer/6062608?hl=ru
• https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

По сути все просто:

1. Определить директории или ссылки, которые вы хотите запретить к индексации в ПС.
2. Запретить их в файле robots.txt

Как это сделать вручную или сгенерировать? (по сути неважно)
Если генерировать роботс тхт, то лучше всего, после генерации, вручную проверить, что там генератор нагенерировал)).

 

[Artem1717]

В 26.05.2017 в 23:26, Yoda сказал:

 

Удачи, я ваша волшебная фея.
Идеальный роботс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое.

 

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system
Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp



User-agent: Yandex

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system

Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp
Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву:

RewriteRule ^robots.txt$ robots.php

Я надеюсь все довольны.

Здравствуйте, являюсь профаном, пытаюсь найти решение для домена типа site.ru. Сайт на BITRIX. Есть поддомен spb.site.ru, попробовал 6 методов и вот попробовал по вашему тоже не вышло, но много положительных отзывов, может я что то не проставил где-то? 
К примеру, нужно ли заменять где - либо слово server на "site" или нет?
Что сделал:
1) Прописал в .htaccess директиву:

<IfModule mod_rewrite.c>
  RewriteRule ^robots.txt$ robots.php
...
</IfModule>

2) Создал robots.php
добавил туда все, что было в robots.txt, + то, что у вас написано, вышло так:

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *
Sitemap: http://$server/sitemap_files.xml
..........много всего по оптимизации с директивой disallow.......

User-agent: Yandex
..........много всего по оптимизации с директивой disallow.......
Clean-param: tracking
Host: $server
Sitemap: http://$server/sitemap_files.xml
";

User-Agent: Googlebot
Disallow: /bitrix/
Sitemap: http://$server/sitemap_files.xml

header("Content-Type: text/plain");
echo $text;
exit;

3) сохранил, зашел в вебмастер и он все равно выдает то же, что и было, как будто читает robots.txt (см картинку)
Подскажите может что-то увидели не правильное в моих действиях?

[Stakhoff]

В 14.06.2017 в 21:27, Tom сказав:

...

Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина.

...

 

Приветствую, я новичек, слепил на опенкарт-3 сайт https://embroides.com/  начал вникать в SEO. Разобрался с сайтмап, подключился к гугл и яндексу. Теперь думаю, а ну-ка роботс буду править, глядь - а нету его нигде у меня. Может такое быть? Нужен ли он вообще?

Спасибо за ответ, извините за беспокойство.

[Tom]

Нужен.

[Stakhoff]

2 хвилини назад, Tom сказав:

Нужен.

 

Смотрю по рекомендации здесь https://shopiweb.ru/files/robots-opencart.txt

Копирую это в robots.txt  и заливаю в корневую? И все?

[poetiq]

В 27.05.2017 в 01:26, Yoda сказал:

 

Удачи, я ваша волшебная фея.
Идеальный роботс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое.

 

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву:

RewriteRule ^robots.txt$ robots.php

Я надеюсь все довольны.

 

Будет работать только на апаче, на nginx такое не работает, т.к. яндекс не принимает редирект:

 

[kachulin]

На nginx все норм, сервер отдает ответ 200

Правда .htaccess у меня не работает, прописал правило в панели управления

location = /robots.txt {
    rewrite ^(.*)$ /robots.php;
}

Еще пришлось заменить

$server = $_SERVER['SERVER_NAME'];

На

$server = $_SERVER['HTTP_HOST'];

Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена

[book]

В 26.05.2017 в 23:26, Yoda сказал:

 

Удачи, я ваша волшебная фея.
Идеальный роботс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое.

 

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system
Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp



User-agent: Yandex

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system

Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp
Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву:

RewriteRule ^robots.txt$ robots.php

Я надеюсь все довольны.

Здравствуйте! Подскажите, пожалуйста, скрипт, чтобы читал robots.php и генерировал robots.txt?