Rubik Опубликовано: 25 мая 2017 Поделиться Опубликовано: 25 мая 2017 Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
RHCk Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 В 25.05.2017 в 10:45, Rubik сказал: где найти правильный rorobts.txt Единственно правильного robots.txt не существует. Если вы используете сборку без дополнений, того что идёт из коробк, достаточно. Если же вы расширяете функционал доп.модулями, тут нужно смотреть индивидуально. Модули (фильтры например) могут добавлять лишние страницы, которые не нужны в индексе ПС. Их и нужно закрывать в robots.txt от индексации. 5 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
Yoda Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 10 минут назад, chukcha сказал: Сделайте роботс для разных магазинов Поделитесь... Что ж вы не поделились? Что ж вы не поделились? Да? А вддруг отвалится кусочек, и кто-то выложит идеальный код. Без Не учишься... Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. 6 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
chukcha Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 Прекрасно т.е. Disallow:/index.php?route=product/quickview /?route=product/quckview -можно индексировать. Где же идеальный? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Yoda Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 Простите, у вас со зрением плохо? Цитата Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 46 минут назад, Yoda сказал: Идеальный роботс для разных магазинов за 3 минуты: Это первично. Индивидуальный проект - вторичен. Да, я в очках. И...? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... RHCk Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 (изменено) 24 минуты назад, chukcha сказал: И...? Можно - возможность, нужно - необходимость. Не всё то, что возможно, суть необходимо. Страницы фильтра, например, тоже можно индексировать, и ПСы за милую душу это делают, если не закрыть их в robots.txt Тогда, следуя Вашей логике, приходим к тому, что необходимость в robots.txt отпадёт совсем. 24 минуты назад, chukcha сказал: ...первично ...вторичен. Неправильная расстановка приоритетов этапов решения задач проекта зачастую заводят решение задач в тупик, или непрогнозируемо увеличивает бюджет. Также в сети более чем достаточно ресурсов с описанием синтаксиса robots.txt Ищутся по запросу 'синтаксис robots.txt'. И далее Вашими же словами: 1 час назад, chukcha сказал: не учишься - плати. И головной боли не будет С уважением. Изменено 26 мая 2017 пользователем RHCk Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 2 минуты назад, RHCk сказал: Неправильная расстановка приоритетов этапов решения Неправильная расстановка возможностей. Нужен идеальный Сейчас за 3 минтуы Вот пример из реального проекта. Где идеальный? 4 минуты назад, RHCk сказал: Страницы фильтра тоже можно индексировать, Такс.. а в реальном проекте у нас что? ага - закрыли Так нужно индексировать? Или можно индексировать? Теперь берем предложенный генератор, не.. еще не купили, а толко с автором пообщались Выяснили задачи, наличие закрываемых сущностей, (т.е. ТЗ) Установили, настроили, забыли. И.. да конечно - 9 минут назад, RHCk сказал: Ищутся по запросу 'синтаксис robots.txt'. Это никто не отменял В случае проблем - к автору модуля. Не на форум, а к автору, который расскажет, пояснит, в случае необходимости обратится к специалисту из команды. зы. если что я не в той команде. ззы. Я также не приветствую - обращайтесь сделаю, в личку. и подобное. Но данный случай - это в первую очередь заявить о себе и разработке, во вторую заставить ТС воспользоваться поиском, а вдруг не умеет? И третье , и четвертое можно найти. зззы В тех случаях где я заинтересован в работе я сразу пишу в личку. И.. но почему я имею свой генератор robots Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... RHCk Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 (изменено) 31 минуту назад, chukcha сказал: Неправильная расстановка возможностей. Возможности безграничны. Время невосполняемый ресурс. К сожалению. 31 минуту назад, chukcha сказал: берем ... генератор... Выяснили задачи... Установили, настроили... В случае проблем - к автору модуля... в случае необходимости обратится к специалисту... Уверен, это займёт больше трёх минут. И это только то, что касается robots.txt 31 минуту назад, chukcha сказал: Но данный случай - это в первую очередь заявить о себе Я заранее прошу извинить за оффтоп, далее исключительно ассоциации, никаких аналогий, в лёгкой непринуждённой форме: Скрытый текст Шёл джигит по горам, услышал крик... крик повторяется. Джигит пошёл на крик, чтобы разузнать в чём дело. Зашёл в пешеру, а там Синяя Птица Удачи сидит голой ж*п*й на раскалённой сковородке и кричит. Джигит спрашивает: Зачем, слушай, делаешь так? СПУ: А по-другому вы меня не находите... ИМХО, лучший способ заявить о себе - быть полезным, тогда будут и рекомендации. А публично навязывать свои услуги, думаю, не серьёзно это. Совсем. 31 минуту назад, chukcha сказал: но почему я имею свой генератор robots У каждого есть свои скелеты в шкафу Изменено 26 мая 2017 пользователем RHCk Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 3 недели спустя... Paint Опубликовано: 14 июня 2017 Поделиться Опубликовано: 14 июня 2017 (изменено) Только на этом форуме данный вопрос обсуждается в нескольких отдельных темах и нигде нет ясности. Не понятно почему надо именно так и зачем. Скрытый текст Новичку типа меня разобраться сложно и я не уверен, что разобрался до конца и все сделал правильно, но возможно кому-то поможет мой robots.txt с пояснениями, а кто-то найдет в нем ошибки и поправит: Скрытый текст ############################################# #некоторые выдержки по синтаксису robots.txt# ############################################# #Disallow: / - блокирует доступ робота к страницам, начинающимся с /xxx #Allow: / разрешает доступ робота к разделам начинающимся с /xxx #Перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки. #Символ # предназначен для описания комментариев. #Все, что находится после символа # и до первого перевода строки не учитывается. #Спецсимвол * означает любую (в том числе пустую) последовательность символов #Пример: Disallow: /*private - запрещает не только '/private', но и '/cgi-bin/private' #(По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол * #Чтобы отменить * на конце правила, можно использовать спецсимвол $, например: #Пример: Disallow: /example$ - запрещает '/example', но не запрещает '/example.html') # User-agent: * ################################## #стандартный robots.txt ocStore2 # ################################## Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= # #################### #добавлено - разное# #################### Disallow: /compare-products # Сравнение товаров Disallow: /search # страница поиска Disallow: /cart # Корзина Disallow: /checkout # Оформление заказа Disallow: /*simple # Все страницы модуля simple #Disallow: /*success # Страницы Успешного заказа Disallow: /gift-vouchers # ############################ #добавлено - личный кабинет# ############################ Disallow: /login # Авторизация в Личном Кабинете Disallow: /logout # Выход из Личного Кабинета Disallow: /my-account # Личный Кабинет Disallow: /vouchers # Подарочный сертификат Disallow: /wishlist # Мои закладки Disallow: /edit-account # Изменение учетной записи (->simpleedit) Disallow: /create-account # Создание учетной записи (->my-account) Disallow: /order-history # История заказов Disallow: /newsletter # Подписка на новости Disallow: /forgot-password # Напомнить пароль Disallow: /downloads # файлы для скачивания Disallow: /transactions # История платежей Disallow: /address-book # Личный кабинет/Список адресов доставки Disallow: /reward-points # Бонусные баллы Disallow: /change-password # Смена пароля Disallow: /wishlist # Мои закладки Disallow: /*recurring # Периодические платежи Disallow: /*return # Все страницы Возврата товара Disallow: /*affiliate # Все страницы Кабинета Партнера # ##################################################### #добавлено - разблокировка скриптов и стилей шаблона# ##################################################### Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ # Sitemap: https://мой_домен/index.php?route=feed/google_sitemap User-agent: Yandex ################################## #стандартный robots.txt ocStore2 # ################################## Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= # #################### #добавлено - разное# #################### Disallow: /compare-products # Сравнение товаров Disallow: /search # страница поиска Disallow: /cart # Корзина Disallow: /checkout # Оформление заказа Disallow: /*simple # Все страницы модуля simple #Disallow: /*success # Страницы Успешного заказа Disallow: /gift-vouchers # ############################ #добавлено - личный кабинет# ############################ Disallow: /login # Авторизация в Личном Кабинете Disallow: /logout # Выход из Личного Кабинета Disallow: /my-account # Личный Кабинет Disallow: /vouchers # Подарочный сертификат Disallow: /wishlist # Мои закладки Disallow: /edit-account # Изменение учетной записи (->simpleedit) Disallow: /create-account # Создание учетной записи (->my-account) Disallow: /order-history # История заказов Disallow: /newsletter # Подписка на новости Disallow: /forgot-password # Напомнить пароль Disallow: /downloads # файлы для скачивания Disallow: /transactions # История платежей Disallow: /address-book # Личный кабинет/Список адресов доставки Disallow: /reward-points # Бонусные баллы Disallow: /change-password # Смена пароля Disallow: /wishlist # Мои закладки Disallow: /*recurring # Периодические платежи Disallow: /*return # Все страницы Возврата товара Disallow: /*affiliate # Все страницы Кабинета Партнера # ##################################################### #добавлено - разблокировка скриптов и стилей шаблона# ##################################################### Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ # Clean-param: tracking Sitemap: https://мой_домен/index.php?route=feed/yandex_sitemap # Host: https://мой_домен.ru У многих в их примерах видел когда было прописано Disallow: /*route=account/simpleedit Disallow: /simplecheckout Disallow: /simpleregister но согласно правил синтаксиса эти 3 строки можно заменить одной Disallow: /*simple и т.п. Зачем добавлять что-то в robots.txt ответил автор одного модуля в его описании здесь Зачем открывать скрипты и стили шаблона прочитал здесь И когда уже кое-что с этим robots.txt стало более менее понятно, попадаю на эту тему и оказывается что он и не нужен вовсе этот robots.txt а нужно в каждом контроллере закрывать нужные страницы от индексации с помощью мета-тега robots... Баста, приехали!!! Вот robots.txt моего товарища, сайт которого в ТОП-3 ПС по большинству запросов, свойственных его нише (Проверял, причем чаще всего на 1-й). Сайт на joomla, но сути это не меняет: Скрытый текст User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Возможно ему просто с нишей повезло. Но всё равно, вам не кажется, что все уж слишком заморочились с этим вопросом? Изменено 14 июня 2017 пользователем Paint 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Tom Опубликовано: 14 июня 2017 Поделиться Опубликовано: 14 июня 2017 Не плохой пост.Плюсанул. Моё мнение такое,купили вы себе квартирку,полазили по журналам о ремонте, каталогам мебели и штор, посмотрели ютьюб и вперёд,делать как у всех но сугубо своё индивидуальное. Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. Скрыть страницы какого либо модуля,фильтра итп.Открыть стили,скрипты и картинки своего шаблона,для мобильной версии. Итд итп.Видимо поэтому столько тем,в каждой из которых десятки мнений и решений.Ваше в любом случае будем средним арифметическим .... Как то так. 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... magzhan9292 Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 Для идеальности надо убрать строку Disallow: /admin Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Grodas Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 В 25.05.2017 в 10:45, Rubik сказал: Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2 Правильного robots.txt в природе не существует. Все зависит от того, что именно нужно запретить к индексации. Для составления robots.txt существуют некие правила от ПС, которые как правило (заметьте), носят рекомендательный характер. Подробнее почитать от Гугла и Яндекса: https://support.google.com/webmasters/answer/6062608?hl=ru https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml По сути все просто: Определить директории или ссылки, которые вы хотите запретить к индексации в ПС. Запретить их в файле robots.txt Как это сделать вручную или сгенерировать? (по сути неважно) Если генерировать роботс тхт, то лучше всего, после генерации, вручную проверить, что там генератор нагенерировал)). Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 6 месяцев спустя... Artem1717 Опубликовано: 13 марта 2018 Поделиться Опубликовано: 13 марта 2018 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте, являюсь профаном, пытаюсь найти решение для домена типа site.ru. Сайт на BITRIX. Есть поддомен spb.site.ru, попробовал 6 методов и вот попробовал по вашему тоже не вышло, но много положительных отзывов, может я что то не проставил где-то? К примеру, нужно ли заменять где - либо слово server на "site" или нет? Что сделал: 1) Прописал в .htaccess директиву: <IfModule mod_rewrite.c> RewriteRule ^robots.txt$ robots.php ... </IfModule> 2) Создал robots.php добавил туда все, что было в robots.txt, + то, что у вас написано, вышло так: <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Sitemap: http://$server/sitemap_files.xml ..........много всего по оптимизации с директивой disallow....... User-agent: Yandex ..........много всего по оптимизации с директивой disallow....... Clean-param: tracking Host: $server Sitemap: http://$server/sitemap_files.xml "; User-Agent: Googlebot Disallow: /bitrix/ Sitemap: http://$server/sitemap_files.xml header("Content-Type: text/plain"); echo $text; exit; 3) сохранил, зашел в вебмастер и он все равно выдает то же, что и было, как будто читает robots.txt (см картинку) Подскажите может что-то увидели не правильное в моих действиях? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 2 года спустя... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 В 14.06.2017 в 21:27, Tom сказав: ... Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. ... Приветствую, я новичек, слепил на опенкарт-3 сайт https://embroides.com/ начал вникать в SEO. Разобрался с сайтмап, подключился к гугл и яндексу. Теперь думаю, а ну-ка роботс буду править, глядь - а нету его нигде у меня. Может такое быть? Нужен ли он вообще? Спасибо за ответ, извините за беспокойство. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Tom Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 Нужен. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 2 хвилини назад, Tom сказав: Нужен. Смотрю по рекомендации здесь https://shopiweb.ru/files/robots-opencart.txt Копирую это в robots.txt и заливаю в корневую? И все? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 4 недели спустя... poetiq Опубликовано: 25 мая 2020 Поделиться Опубликовано: 25 мая 2020 В 27.05.2017 в 01:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Будет работать только на апаче, на nginx такое не работает, т.к. яндекс не принимает редирект: Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... kachulin Опубликовано: 3 июля 2020 Поделиться Опубликовано: 3 июля 2020 На nginx все норм, сервер отдает ответ 200 Правда .htaccess у меня не работает, прописал правило в панели управления location = /robots.txt { rewrite ^(.*)$ /robots.php; } Еще пришлось заменить $server = $_SERVER['SERVER_NAME']; На $server = $_SERVER['HTTP_HOST']; Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 год спустя... book Опубликовано: 24 декабря 2021 Поделиться Опубликовано: 24 декабря 2021 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте! Подскажите, пожалуйста, скрипт, чтобы читал robots.php и генерировал robots.txt? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 1 Перейти к списку тем Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Реклама и продвижение SEO-вопросы (оптимизация и продвижение магазина) robots Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
Yoda Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 Простите, у вас со зрением плохо? Цитата Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
chukcha Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 46 минут назад, Yoda сказал: Идеальный роботс для разных магазинов за 3 минуты: Это первично. Индивидуальный проект - вторичен. Да, я в очках. И...? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... RHCk Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 (изменено) 24 минуты назад, chukcha сказал: И...? Можно - возможность, нужно - необходимость. Не всё то, что возможно, суть необходимо. Страницы фильтра, например, тоже можно индексировать, и ПСы за милую душу это делают, если не закрыть их в robots.txt Тогда, следуя Вашей логике, приходим к тому, что необходимость в robots.txt отпадёт совсем. 24 минуты назад, chukcha сказал: ...первично ...вторичен. Неправильная расстановка приоритетов этапов решения задач проекта зачастую заводят решение задач в тупик, или непрогнозируемо увеличивает бюджет. Также в сети более чем достаточно ресурсов с описанием синтаксиса robots.txt Ищутся по запросу 'синтаксис robots.txt'. И далее Вашими же словами: 1 час назад, chukcha сказал: не учишься - плати. И головной боли не будет С уважением. Изменено 26 мая 2017 пользователем RHCk Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... chukcha Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 2 минуты назад, RHCk сказал: Неправильная расстановка приоритетов этапов решения Неправильная расстановка возможностей. Нужен идеальный Сейчас за 3 минтуы Вот пример из реального проекта. Где идеальный? 4 минуты назад, RHCk сказал: Страницы фильтра тоже можно индексировать, Такс.. а в реальном проекте у нас что? ага - закрыли Так нужно индексировать? Или можно индексировать? Теперь берем предложенный генератор, не.. еще не купили, а толко с автором пообщались Выяснили задачи, наличие закрываемых сущностей, (т.е. ТЗ) Установили, настроили, забыли. И.. да конечно - 9 минут назад, RHCk сказал: Ищутся по запросу 'синтаксис robots.txt'. Это никто не отменял В случае проблем - к автору модуля. Не на форум, а к автору, который расскажет, пояснит, в случае необходимости обратится к специалисту из команды. зы. если что я не в той команде. ззы. Я также не приветствую - обращайтесь сделаю, в личку. и подобное. Но данный случай - это в первую очередь заявить о себе и разработке, во вторую заставить ТС воспользоваться поиском, а вдруг не умеет? И третье , и четвертое можно найти. зззы В тех случаях где я заинтересован в работе я сразу пишу в личку. И.. но почему я имею свой генератор robots Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... RHCk Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 (изменено) 31 минуту назад, chukcha сказал: Неправильная расстановка возможностей. Возможности безграничны. Время невосполняемый ресурс. К сожалению. 31 минуту назад, chukcha сказал: берем ... генератор... Выяснили задачи... Установили, настроили... В случае проблем - к автору модуля... в случае необходимости обратится к специалисту... Уверен, это займёт больше трёх минут. И это только то, что касается robots.txt 31 минуту назад, chukcha сказал: Но данный случай - это в первую очередь заявить о себе Я заранее прошу извинить за оффтоп, далее исключительно ассоциации, никаких аналогий, в лёгкой непринуждённой форме: Скрытый текст Шёл джигит по горам, услышал крик... крик повторяется. Джигит пошёл на крик, чтобы разузнать в чём дело. Зашёл в пешеру, а там Синяя Птица Удачи сидит голой ж*п*й на раскалённой сковородке и кричит. Джигит спрашивает: Зачем, слушай, делаешь так? СПУ: А по-другому вы меня не находите... ИМХО, лучший способ заявить о себе - быть полезным, тогда будут и рекомендации. А публично навязывать свои услуги, думаю, не серьёзно это. Совсем. 31 минуту назад, chukcha сказал: но почему я имею свой генератор robots У каждого есть свои скелеты в шкафу Изменено 26 мая 2017 пользователем RHCk Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 3 недели спустя... Paint Опубликовано: 14 июня 2017 Поделиться Опубликовано: 14 июня 2017 (изменено) Только на этом форуме данный вопрос обсуждается в нескольких отдельных темах и нигде нет ясности. Не понятно почему надо именно так и зачем. Скрытый текст Новичку типа меня разобраться сложно и я не уверен, что разобрался до конца и все сделал правильно, но возможно кому-то поможет мой robots.txt с пояснениями, а кто-то найдет в нем ошибки и поправит: Скрытый текст ############################################# #некоторые выдержки по синтаксису robots.txt# ############################################# #Disallow: / - блокирует доступ робота к страницам, начинающимся с /xxx #Allow: / разрешает доступ робота к разделам начинающимся с /xxx #Перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки. #Символ # предназначен для описания комментариев. #Все, что находится после символа # и до первого перевода строки не учитывается. #Спецсимвол * означает любую (в том числе пустую) последовательность символов #Пример: Disallow: /*private - запрещает не только '/private', но и '/cgi-bin/private' #(По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол * #Чтобы отменить * на конце правила, можно использовать спецсимвол $, например: #Пример: Disallow: /example$ - запрещает '/example', но не запрещает '/example.html') # User-agent: * ################################## #стандартный robots.txt ocStore2 # ################################## Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= # #################### #добавлено - разное# #################### Disallow: /compare-products # Сравнение товаров Disallow: /search # страница поиска Disallow: /cart # Корзина Disallow: /checkout # Оформление заказа Disallow: /*simple # Все страницы модуля simple #Disallow: /*success # Страницы Успешного заказа Disallow: /gift-vouchers # ############################ #добавлено - личный кабинет# ############################ Disallow: /login # Авторизация в Личном Кабинете Disallow: /logout # Выход из Личного Кабинета Disallow: /my-account # Личный Кабинет Disallow: /vouchers # Подарочный сертификат Disallow: /wishlist # Мои закладки Disallow: /edit-account # Изменение учетной записи (->simpleedit) Disallow: /create-account # Создание учетной записи (->my-account) Disallow: /order-history # История заказов Disallow: /newsletter # Подписка на новости Disallow: /forgot-password # Напомнить пароль Disallow: /downloads # файлы для скачивания Disallow: /transactions # История платежей Disallow: /address-book # Личный кабинет/Список адресов доставки Disallow: /reward-points # Бонусные баллы Disallow: /change-password # Смена пароля Disallow: /wishlist # Мои закладки Disallow: /*recurring # Периодические платежи Disallow: /*return # Все страницы Возврата товара Disallow: /*affiliate # Все страницы Кабинета Партнера # ##################################################### #добавлено - разблокировка скриптов и стилей шаблона# ##################################################### Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ # Sitemap: https://мой_домен/index.php?route=feed/google_sitemap User-agent: Yandex ################################## #стандартный robots.txt ocStore2 # ################################## Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= # #################### #добавлено - разное# #################### Disallow: /compare-products # Сравнение товаров Disallow: /search # страница поиска Disallow: /cart # Корзина Disallow: /checkout # Оформление заказа Disallow: /*simple # Все страницы модуля simple #Disallow: /*success # Страницы Успешного заказа Disallow: /gift-vouchers # ############################ #добавлено - личный кабинет# ############################ Disallow: /login # Авторизация в Личном Кабинете Disallow: /logout # Выход из Личного Кабинета Disallow: /my-account # Личный Кабинет Disallow: /vouchers # Подарочный сертификат Disallow: /wishlist # Мои закладки Disallow: /edit-account # Изменение учетной записи (->simpleedit) Disallow: /create-account # Создание учетной записи (->my-account) Disallow: /order-history # История заказов Disallow: /newsletter # Подписка на новости Disallow: /forgot-password # Напомнить пароль Disallow: /downloads # файлы для скачивания Disallow: /transactions # История платежей Disallow: /address-book # Личный кабинет/Список адресов доставки Disallow: /reward-points # Бонусные баллы Disallow: /change-password # Смена пароля Disallow: /wishlist # Мои закладки Disallow: /*recurring # Периодические платежи Disallow: /*return # Все страницы Возврата товара Disallow: /*affiliate # Все страницы Кабинета Партнера # ##################################################### #добавлено - разблокировка скриптов и стилей шаблона# ##################################################### Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ # Clean-param: tracking Sitemap: https://мой_домен/index.php?route=feed/yandex_sitemap # Host: https://мой_домен.ru У многих в их примерах видел когда было прописано Disallow: /*route=account/simpleedit Disallow: /simplecheckout Disallow: /simpleregister но согласно правил синтаксиса эти 3 строки можно заменить одной Disallow: /*simple и т.п. Зачем добавлять что-то в robots.txt ответил автор одного модуля в его описании здесь Зачем открывать скрипты и стили шаблона прочитал здесь И когда уже кое-что с этим robots.txt стало более менее понятно, попадаю на эту тему и оказывается что он и не нужен вовсе этот robots.txt а нужно в каждом контроллере закрывать нужные страницы от индексации с помощью мета-тега robots... Баста, приехали!!! Вот robots.txt моего товарища, сайт которого в ТОП-3 ПС по большинству запросов, свойственных его нише (Проверял, причем чаще всего на 1-й). Сайт на joomla, но сути это не меняет: Скрытый текст User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Возможно ему просто с нишей повезло. Но всё равно, вам не кажется, что все уж слишком заморочились с этим вопросом? Изменено 14 июня 2017 пользователем Paint 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Tom Опубликовано: 14 июня 2017 Поделиться Опубликовано: 14 июня 2017 Не плохой пост.Плюсанул. Моё мнение такое,купили вы себе квартирку,полазили по журналам о ремонте, каталогам мебели и штор, посмотрели ютьюб и вперёд,делать как у всех но сугубо своё индивидуальное. Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. Скрыть страницы какого либо модуля,фильтра итп.Открыть стили,скрипты и картинки своего шаблона,для мобильной версии. Итд итп.Видимо поэтому столько тем,в каждой из которых десятки мнений и решений.Ваше в любом случае будем средним арифметическим .... Как то так. 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... magzhan9292 Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 Для идеальности надо убрать строку Disallow: /admin Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Grodas Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 В 25.05.2017 в 10:45, Rubik сказал: Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2 Правильного robots.txt в природе не существует. Все зависит от того, что именно нужно запретить к индексации. Для составления robots.txt существуют некие правила от ПС, которые как правило (заметьте), носят рекомендательный характер. Подробнее почитать от Гугла и Яндекса: https://support.google.com/webmasters/answer/6062608?hl=ru https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml По сути все просто: Определить директории или ссылки, которые вы хотите запретить к индексации в ПС. Запретить их в файле robots.txt Как это сделать вручную или сгенерировать? (по сути неважно) Если генерировать роботс тхт, то лучше всего, после генерации, вручную проверить, что там генератор нагенерировал)). Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 6 месяцев спустя... Artem1717 Опубликовано: 13 марта 2018 Поделиться Опубликовано: 13 марта 2018 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте, являюсь профаном, пытаюсь найти решение для домена типа site.ru. Сайт на BITRIX. Есть поддомен spb.site.ru, попробовал 6 методов и вот попробовал по вашему тоже не вышло, но много положительных отзывов, может я что то не проставил где-то? К примеру, нужно ли заменять где - либо слово server на "site" или нет? Что сделал: 1) Прописал в .htaccess директиву: <IfModule mod_rewrite.c> RewriteRule ^robots.txt$ robots.php ... </IfModule> 2) Создал robots.php добавил туда все, что было в robots.txt, + то, что у вас написано, вышло так: <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Sitemap: http://$server/sitemap_files.xml ..........много всего по оптимизации с директивой disallow....... User-agent: Yandex ..........много всего по оптимизации с директивой disallow....... Clean-param: tracking Host: $server Sitemap: http://$server/sitemap_files.xml "; User-Agent: Googlebot Disallow: /bitrix/ Sitemap: http://$server/sitemap_files.xml header("Content-Type: text/plain"); echo $text; exit; 3) сохранил, зашел в вебмастер и он все равно выдает то же, что и было, как будто читает robots.txt (см картинку) Подскажите может что-то увидели не правильное в моих действиях? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 2 года спустя... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 В 14.06.2017 в 21:27, Tom сказав: ... Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. ... Приветствую, я новичек, слепил на опенкарт-3 сайт https://embroides.com/ начал вникать в SEO. Разобрался с сайтмап, подключился к гугл и яндексу. Теперь думаю, а ну-ка роботс буду править, глядь - а нету его нигде у меня. Может такое быть? Нужен ли он вообще? Спасибо за ответ, извините за беспокойство. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Tom Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 Нужен. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 2 хвилини назад, Tom сказав: Нужен. Смотрю по рекомендации здесь https://shopiweb.ru/files/robots-opencart.txt Копирую это в robots.txt и заливаю в корневую? И все? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 4 недели спустя... poetiq Опубликовано: 25 мая 2020 Поделиться Опубликовано: 25 мая 2020 В 27.05.2017 в 01:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Будет работать только на апаче, на nginx такое не работает, т.к. яндекс не принимает редирект: Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... kachulin Опубликовано: 3 июля 2020 Поделиться Опубликовано: 3 июля 2020 На nginx все норм, сервер отдает ответ 200 Правда .htaccess у меня не работает, прописал правило в панели управления location = /robots.txt { rewrite ^(.*)$ /robots.php; } Еще пришлось заменить $server = $_SERVER['SERVER_NAME']; На $server = $_SERVER['HTTP_HOST']; Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 год спустя... book Опубликовано: 24 декабря 2021 Поделиться Опубликовано: 24 декабря 2021 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте! Подскажите, пожалуйста, скрипт, чтобы читал robots.php и генерировал robots.txt? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 1 Перейти к списку тем Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Реклама и продвижение SEO-вопросы (оптимизация и продвижение магазина) robots Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
RHCk Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 (изменено) 24 минуты назад, chukcha сказал: И...? Можно - возможность, нужно - необходимость. Не всё то, что возможно, суть необходимо. Страницы фильтра, например, тоже можно индексировать, и ПСы за милую душу это делают, если не закрыть их в robots.txt Тогда, следуя Вашей логике, приходим к тому, что необходимость в robots.txt отпадёт совсем. 24 минуты назад, chukcha сказал: ...первично ...вторичен. Неправильная расстановка приоритетов этапов решения задач проекта зачастую заводят решение задач в тупик, или непрогнозируемо увеличивает бюджет. Также в сети более чем достаточно ресурсов с описанием синтаксиса robots.txt Ищутся по запросу 'синтаксис robots.txt'. И далее Вашими же словами: 1 час назад, chukcha сказал: не учишься - плати. И головной боли не будет С уважением. Изменено 26 мая 2017 пользователем RHCk Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
chukcha Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 2 минуты назад, RHCk сказал: Неправильная расстановка приоритетов этапов решения Неправильная расстановка возможностей. Нужен идеальный Сейчас за 3 минтуы Вот пример из реального проекта. Где идеальный? 4 минуты назад, RHCk сказал: Страницы фильтра тоже можно индексировать, Такс.. а в реальном проекте у нас что? ага - закрыли Так нужно индексировать? Или можно индексировать? Теперь берем предложенный генератор, не.. еще не купили, а толко с автором пообщались Выяснили задачи, наличие закрываемых сущностей, (т.е. ТЗ) Установили, настроили, забыли. И.. да конечно - 9 минут назад, RHCk сказал: Ищутся по запросу 'синтаксис robots.txt'. Это никто не отменял В случае проблем - к автору модуля. Не на форум, а к автору, который расскажет, пояснит, в случае необходимости обратится к специалисту из команды. зы. если что я не в той команде. ззы. Я также не приветствую - обращайтесь сделаю, в личку. и подобное. Но данный случай - это в первую очередь заявить о себе и разработке, во вторую заставить ТС воспользоваться поиском, а вдруг не умеет? И третье , и четвертое можно найти. зззы В тех случаях где я заинтересован в работе я сразу пишу в личку. И.. но почему я имею свой генератор robots Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... RHCk Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 (изменено) 31 минуту назад, chukcha сказал: Неправильная расстановка возможностей. Возможности безграничны. Время невосполняемый ресурс. К сожалению. 31 минуту назад, chukcha сказал: берем ... генератор... Выяснили задачи... Установили, настроили... В случае проблем - к автору модуля... в случае необходимости обратится к специалисту... Уверен, это займёт больше трёх минут. И это только то, что касается robots.txt 31 минуту назад, chukcha сказал: Но данный случай - это в первую очередь заявить о себе Я заранее прошу извинить за оффтоп, далее исключительно ассоциации, никаких аналогий, в лёгкой непринуждённой форме: Скрытый текст Шёл джигит по горам, услышал крик... крик повторяется. Джигит пошёл на крик, чтобы разузнать в чём дело. Зашёл в пешеру, а там Синяя Птица Удачи сидит голой ж*п*й на раскалённой сковородке и кричит. Джигит спрашивает: Зачем, слушай, делаешь так? СПУ: А по-другому вы меня не находите... ИМХО, лучший способ заявить о себе - быть полезным, тогда будут и рекомендации. А публично навязывать свои услуги, думаю, не серьёзно это. Совсем. 31 минуту назад, chukcha сказал: но почему я имею свой генератор robots У каждого есть свои скелеты в шкафу Изменено 26 мая 2017 пользователем RHCk Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 3 недели спустя... Paint Опубликовано: 14 июня 2017 Поделиться Опубликовано: 14 июня 2017 (изменено) Только на этом форуме данный вопрос обсуждается в нескольких отдельных темах и нигде нет ясности. Не понятно почему надо именно так и зачем. Скрытый текст Новичку типа меня разобраться сложно и я не уверен, что разобрался до конца и все сделал правильно, но возможно кому-то поможет мой robots.txt с пояснениями, а кто-то найдет в нем ошибки и поправит: Скрытый текст ############################################# #некоторые выдержки по синтаксису robots.txt# ############################################# #Disallow: / - блокирует доступ робота к страницам, начинающимся с /xxx #Allow: / разрешает доступ робота к разделам начинающимся с /xxx #Перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки. #Символ # предназначен для описания комментариев. #Все, что находится после символа # и до первого перевода строки не учитывается. #Спецсимвол * означает любую (в том числе пустую) последовательность символов #Пример: Disallow: /*private - запрещает не только '/private', но и '/cgi-bin/private' #(По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол * #Чтобы отменить * на конце правила, можно использовать спецсимвол $, например: #Пример: Disallow: /example$ - запрещает '/example', но не запрещает '/example.html') # User-agent: * ################################## #стандартный robots.txt ocStore2 # ################################## Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= # #################### #добавлено - разное# #################### Disallow: /compare-products # Сравнение товаров Disallow: /search # страница поиска Disallow: /cart # Корзина Disallow: /checkout # Оформление заказа Disallow: /*simple # Все страницы модуля simple #Disallow: /*success # Страницы Успешного заказа Disallow: /gift-vouchers # ############################ #добавлено - личный кабинет# ############################ Disallow: /login # Авторизация в Личном Кабинете Disallow: /logout # Выход из Личного Кабинета Disallow: /my-account # Личный Кабинет Disallow: /vouchers # Подарочный сертификат Disallow: /wishlist # Мои закладки Disallow: /edit-account # Изменение учетной записи (->simpleedit) Disallow: /create-account # Создание учетной записи (->my-account) Disallow: /order-history # История заказов Disallow: /newsletter # Подписка на новости Disallow: /forgot-password # Напомнить пароль Disallow: /downloads # файлы для скачивания Disallow: /transactions # История платежей Disallow: /address-book # Личный кабинет/Список адресов доставки Disallow: /reward-points # Бонусные баллы Disallow: /change-password # Смена пароля Disallow: /wishlist # Мои закладки Disallow: /*recurring # Периодические платежи Disallow: /*return # Все страницы Возврата товара Disallow: /*affiliate # Все страницы Кабинета Партнера # ##################################################### #добавлено - разблокировка скриптов и стилей шаблона# ##################################################### Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ # Sitemap: https://мой_домен/index.php?route=feed/google_sitemap User-agent: Yandex ################################## #стандартный robots.txt ocStore2 # ################################## Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= # #################### #добавлено - разное# #################### Disallow: /compare-products # Сравнение товаров Disallow: /search # страница поиска Disallow: /cart # Корзина Disallow: /checkout # Оформление заказа Disallow: /*simple # Все страницы модуля simple #Disallow: /*success # Страницы Успешного заказа Disallow: /gift-vouchers # ############################ #добавлено - личный кабинет# ############################ Disallow: /login # Авторизация в Личном Кабинете Disallow: /logout # Выход из Личного Кабинета Disallow: /my-account # Личный Кабинет Disallow: /vouchers # Подарочный сертификат Disallow: /wishlist # Мои закладки Disallow: /edit-account # Изменение учетной записи (->simpleedit) Disallow: /create-account # Создание учетной записи (->my-account) Disallow: /order-history # История заказов Disallow: /newsletter # Подписка на новости Disallow: /forgot-password # Напомнить пароль Disallow: /downloads # файлы для скачивания Disallow: /transactions # История платежей Disallow: /address-book # Личный кабинет/Список адресов доставки Disallow: /reward-points # Бонусные баллы Disallow: /change-password # Смена пароля Disallow: /wishlist # Мои закладки Disallow: /*recurring # Периодические платежи Disallow: /*return # Все страницы Возврата товара Disallow: /*affiliate # Все страницы Кабинета Партнера # ##################################################### #добавлено - разблокировка скриптов и стилей шаблона# ##################################################### Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ # Clean-param: tracking Sitemap: https://мой_домен/index.php?route=feed/yandex_sitemap # Host: https://мой_домен.ru У многих в их примерах видел когда было прописано Disallow: /*route=account/simpleedit Disallow: /simplecheckout Disallow: /simpleregister но согласно правил синтаксиса эти 3 строки можно заменить одной Disallow: /*simple и т.п. Зачем добавлять что-то в robots.txt ответил автор одного модуля в его описании здесь Зачем открывать скрипты и стили шаблона прочитал здесь И когда уже кое-что с этим robots.txt стало более менее понятно, попадаю на эту тему и оказывается что он и не нужен вовсе этот robots.txt а нужно в каждом контроллере закрывать нужные страницы от индексации с помощью мета-тега robots... Баста, приехали!!! Вот robots.txt моего товарища, сайт которого в ТОП-3 ПС по большинству запросов, свойственных его нише (Проверял, причем чаще всего на 1-й). Сайт на joomla, но сути это не меняет: Скрытый текст User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Возможно ему просто с нишей повезло. Но всё равно, вам не кажется, что все уж слишком заморочились с этим вопросом? Изменено 14 июня 2017 пользователем Paint 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Tom Опубликовано: 14 июня 2017 Поделиться Опубликовано: 14 июня 2017 Не плохой пост.Плюсанул. Моё мнение такое,купили вы себе квартирку,полазили по журналам о ремонте, каталогам мебели и штор, посмотрели ютьюб и вперёд,делать как у всех но сугубо своё индивидуальное. Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. Скрыть страницы какого либо модуля,фильтра итп.Открыть стили,скрипты и картинки своего шаблона,для мобильной версии. Итд итп.Видимо поэтому столько тем,в каждой из которых десятки мнений и решений.Ваше в любом случае будем средним арифметическим .... Как то так. 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... magzhan9292 Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 Для идеальности надо убрать строку Disallow: /admin Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Grodas Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 В 25.05.2017 в 10:45, Rubik сказал: Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2 Правильного robots.txt в природе не существует. Все зависит от того, что именно нужно запретить к индексации. Для составления robots.txt существуют некие правила от ПС, которые как правило (заметьте), носят рекомендательный характер. Подробнее почитать от Гугла и Яндекса: https://support.google.com/webmasters/answer/6062608?hl=ru https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml По сути все просто: Определить директории или ссылки, которые вы хотите запретить к индексации в ПС. Запретить их в файле robots.txt Как это сделать вручную или сгенерировать? (по сути неважно) Если генерировать роботс тхт, то лучше всего, после генерации, вручную проверить, что там генератор нагенерировал)). Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 6 месяцев спустя... Artem1717 Опубликовано: 13 марта 2018 Поделиться Опубликовано: 13 марта 2018 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте, являюсь профаном, пытаюсь найти решение для домена типа site.ru. Сайт на BITRIX. Есть поддомен spb.site.ru, попробовал 6 методов и вот попробовал по вашему тоже не вышло, но много положительных отзывов, может я что то не проставил где-то? К примеру, нужно ли заменять где - либо слово server на "site" или нет? Что сделал: 1) Прописал в .htaccess директиву: <IfModule mod_rewrite.c> RewriteRule ^robots.txt$ robots.php ... </IfModule> 2) Создал robots.php добавил туда все, что было в robots.txt, + то, что у вас написано, вышло так: <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Sitemap: http://$server/sitemap_files.xml ..........много всего по оптимизации с директивой disallow....... User-agent: Yandex ..........много всего по оптимизации с директивой disallow....... Clean-param: tracking Host: $server Sitemap: http://$server/sitemap_files.xml "; User-Agent: Googlebot Disallow: /bitrix/ Sitemap: http://$server/sitemap_files.xml header("Content-Type: text/plain"); echo $text; exit; 3) сохранил, зашел в вебмастер и он все равно выдает то же, что и было, как будто читает robots.txt (см картинку) Подскажите может что-то увидели не правильное в моих действиях? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 2 года спустя... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 В 14.06.2017 в 21:27, Tom сказав: ... Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. ... Приветствую, я новичек, слепил на опенкарт-3 сайт https://embroides.com/ начал вникать в SEO. Разобрался с сайтмап, подключился к гугл и яндексу. Теперь думаю, а ну-ка роботс буду править, глядь - а нету его нигде у меня. Может такое быть? Нужен ли он вообще? Спасибо за ответ, извините за беспокойство. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Tom Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 Нужен. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 2 хвилини назад, Tom сказав: Нужен. Смотрю по рекомендации здесь https://shopiweb.ru/files/robots-opencart.txt Копирую это в robots.txt и заливаю в корневую? И все? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 4 недели спустя... poetiq Опубликовано: 25 мая 2020 Поделиться Опубликовано: 25 мая 2020 В 27.05.2017 в 01:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Будет работать только на апаче, на nginx такое не работает, т.к. яндекс не принимает редирект: Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... kachulin Опубликовано: 3 июля 2020 Поделиться Опубликовано: 3 июля 2020 На nginx все норм, сервер отдает ответ 200 Правда .htaccess у меня не работает, прописал правило в панели управления location = /robots.txt { rewrite ^(.*)$ /robots.php; } Еще пришлось заменить $server = $_SERVER['SERVER_NAME']; На $server = $_SERVER['HTTP_HOST']; Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 год спустя... book Опубликовано: 24 декабря 2021 Поделиться Опубликовано: 24 декабря 2021 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте! Подскажите, пожалуйста, скрипт, чтобы читал robots.php и генерировал robots.txt? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 1 Перейти к списку тем Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Реклама и продвижение SEO-вопросы (оптимизация и продвижение магазина) robots Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha × Уже зарегистрированы? Войти Регистрация Раздел покупок Назад Приобретенные дополнения Ваши счета Список желаний Альтернативные контакты Форум Новости ocStore Назад Официальный сайт Демо ocStore 3.0.3.2 Демо ocStore 2.3.0.2.4 Скачать ocStore Документация История версий ocStore Блоги Модули Шаблоны Назад Бесплатные шаблоны Платные шаблоны Где покупать модули? Услуги FAQ OpenCart.Pro Назад Демо Купить Сравнение × Создать... Важная информация На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности. Я принимаю
RHCk Опубликовано: 26 мая 2017 Поделиться Опубликовано: 26 мая 2017 (изменено) 31 минуту назад, chukcha сказал: Неправильная расстановка возможностей. Возможности безграничны. Время невосполняемый ресурс. К сожалению. 31 минуту назад, chukcha сказал: берем ... генератор... Выяснили задачи... Установили, настроили... В случае проблем - к автору модуля... в случае необходимости обратится к специалисту... Уверен, это займёт больше трёх минут. И это только то, что касается robots.txt 31 минуту назад, chukcha сказал: Но данный случай - это в первую очередь заявить о себе Я заранее прошу извинить за оффтоп, далее исключительно ассоциации, никаких аналогий, в лёгкой непринуждённой форме: Скрытый текст Шёл джигит по горам, услышал крик... крик повторяется. Джигит пошёл на крик, чтобы разузнать в чём дело. Зашёл в пешеру, а там Синяя Птица Удачи сидит голой ж*п*й на раскалённой сковородке и кричит. Джигит спрашивает: Зачем, слушай, делаешь так? СПУ: А по-другому вы меня не находите... ИМХО, лучший способ заявить о себе - быть полезным, тогда будут и рекомендации. А публично навязывать свои услуги, думаю, не серьёзно это. Совсем. 31 минуту назад, chukcha сказал: но почему я имею свой генератор robots У каждого есть свои скелеты в шкафу Изменено 26 мая 2017 пользователем RHCk Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
Paint Опубликовано: 14 июня 2017 Поделиться Опубликовано: 14 июня 2017 (изменено) Только на этом форуме данный вопрос обсуждается в нескольких отдельных темах и нигде нет ясности. Не понятно почему надо именно так и зачем. Скрытый текст Новичку типа меня разобраться сложно и я не уверен, что разобрался до конца и все сделал правильно, но возможно кому-то поможет мой robots.txt с пояснениями, а кто-то найдет в нем ошибки и поправит: Скрытый текст ############################################# #некоторые выдержки по синтаксису robots.txt# ############################################# #Disallow: / - блокирует доступ робота к страницам, начинающимся с /xxx #Allow: / разрешает доступ робота к разделам начинающимся с /xxx #Перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки. #Символ # предназначен для описания комментариев. #Все, что находится после символа # и до первого перевода строки не учитывается. #Спецсимвол * означает любую (в том числе пустую) последовательность символов #Пример: Disallow: /*private - запрещает не только '/private', но и '/cgi-bin/private' #(По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол * #Чтобы отменить * на конце правила, можно использовать спецсимвол $, например: #Пример: Disallow: /example$ - запрещает '/example', но не запрещает '/example.html') # User-agent: * ################################## #стандартный robots.txt ocStore2 # ################################## Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= # #################### #добавлено - разное# #################### Disallow: /compare-products # Сравнение товаров Disallow: /search # страница поиска Disallow: /cart # Корзина Disallow: /checkout # Оформление заказа Disallow: /*simple # Все страницы модуля simple #Disallow: /*success # Страницы Успешного заказа Disallow: /gift-vouchers # ############################ #добавлено - личный кабинет# ############################ Disallow: /login # Авторизация в Личном Кабинете Disallow: /logout # Выход из Личного Кабинета Disallow: /my-account # Личный Кабинет Disallow: /vouchers # Подарочный сертификат Disallow: /wishlist # Мои закладки Disallow: /edit-account # Изменение учетной записи (->simpleedit) Disallow: /create-account # Создание учетной записи (->my-account) Disallow: /order-history # История заказов Disallow: /newsletter # Подписка на новости Disallow: /forgot-password # Напомнить пароль Disallow: /downloads # файлы для скачивания Disallow: /transactions # История платежей Disallow: /address-book # Личный кабинет/Список адресов доставки Disallow: /reward-points # Бонусные баллы Disallow: /change-password # Смена пароля Disallow: /wishlist # Мои закладки Disallow: /*recurring # Периодические платежи Disallow: /*return # Все страницы Возврата товара Disallow: /*affiliate # Все страницы Кабинета Партнера # ##################################################### #добавлено - разблокировка скриптов и стилей шаблона# ##################################################### Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ # Sitemap: https://мой_домен/index.php?route=feed/google_sitemap User-agent: Yandex ################################## #стандартный robots.txt ocStore2 # ################################## Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter= Disallow: /*&filter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= # #################### #добавлено - разное# #################### Disallow: /compare-products # Сравнение товаров Disallow: /search # страница поиска Disallow: /cart # Корзина Disallow: /checkout # Оформление заказа Disallow: /*simple # Все страницы модуля simple #Disallow: /*success # Страницы Успешного заказа Disallow: /gift-vouchers # ############################ #добавлено - личный кабинет# ############################ Disallow: /login # Авторизация в Личном Кабинете Disallow: /logout # Выход из Личного Кабинета Disallow: /my-account # Личный Кабинет Disallow: /vouchers # Подарочный сертификат Disallow: /wishlist # Мои закладки Disallow: /edit-account # Изменение учетной записи (->simpleedit) Disallow: /create-account # Создание учетной записи (->my-account) Disallow: /order-history # История заказов Disallow: /newsletter # Подписка на новости Disallow: /forgot-password # Напомнить пароль Disallow: /downloads # файлы для скачивания Disallow: /transactions # История платежей Disallow: /address-book # Личный кабинет/Список адресов доставки Disallow: /reward-points # Бонусные баллы Disallow: /change-password # Смена пароля Disallow: /wishlist # Мои закладки Disallow: /*recurring # Периодические платежи Disallow: /*return # Все страницы Возврата товара Disallow: /*affiliate # Все страницы Кабинета Партнера # ##################################################### #добавлено - разблокировка скриптов и стилей шаблона# ##################################################### Allow: /catalog/view/javascript/ Allow: /catalog/view/theme/*/ # Clean-param: tracking Sitemap: https://мой_домен/index.php?route=feed/yandex_sitemap # Host: https://мой_домен.ru У многих в их примерах видел когда было прописано Disallow: /*route=account/simpleedit Disallow: /simplecheckout Disallow: /simpleregister но согласно правил синтаксиса эти 3 строки можно заменить одной Disallow: /*simple и т.п. Зачем добавлять что-то в robots.txt ответил автор одного модуля в его описании здесь Зачем открывать скрипты и стили шаблона прочитал здесь И когда уже кое-что с этим robots.txt стало более менее понятно, попадаю на эту тему и оказывается что он и не нужен вовсе этот robots.txt а нужно в каждом контроллере закрывать нужные страницы от индексации с помощью мета-тега robots... Баста, приехали!!! Вот robots.txt моего товарища, сайт которого в ТОП-3 ПС по большинству запросов, свойственных его нише (Проверял, причем чаще всего на 1-й). Сайт на joomla, но сути это не меняет: Скрытый текст User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ Возможно ему просто с нишей повезло. Но всё равно, вам не кажется, что все уж слишком заморочились с этим вопросом? Изменено 14 июня 2017 пользователем Paint 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
Tom Опубликовано: 14 июня 2017 Поделиться Опубликовано: 14 июня 2017 Не плохой пост.Плюсанул. Моё мнение такое,купили вы себе квартирку,полазили по журналам о ремонте, каталогам мебели и штор, посмотрели ютьюб и вперёд,делать как у всех но сугубо своё индивидуальное. Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. Скрыть страницы какого либо модуля,фильтра итп.Открыть стили,скрипты и картинки своего шаблона,для мобильной версии. Итд итп.Видимо поэтому столько тем,в каждой из которых десятки мнений и решений.Ваше в любом случае будем средним арифметическим .... Как то так. 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... magzhan9292 Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 Для идеальности надо убрать строку Disallow: /admin Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Grodas Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 В 25.05.2017 в 10:45, Rubik сказал: Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2 Правильного robots.txt в природе не существует. Все зависит от того, что именно нужно запретить к индексации. Для составления robots.txt существуют некие правила от ПС, которые как правило (заметьте), носят рекомендательный характер. Подробнее почитать от Гугла и Яндекса: https://support.google.com/webmasters/answer/6062608?hl=ru https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml По сути все просто: Определить директории или ссылки, которые вы хотите запретить к индексации в ПС. Запретить их в файле robots.txt Как это сделать вручную или сгенерировать? (по сути неважно) Если генерировать роботс тхт, то лучше всего, после генерации, вручную проверить, что там генератор нагенерировал)). Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 6 месяцев спустя... Artem1717 Опубликовано: 13 марта 2018 Поделиться Опубликовано: 13 марта 2018 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте, являюсь профаном, пытаюсь найти решение для домена типа site.ru. Сайт на BITRIX. Есть поддомен spb.site.ru, попробовал 6 методов и вот попробовал по вашему тоже не вышло, но много положительных отзывов, может я что то не проставил где-то? К примеру, нужно ли заменять где - либо слово server на "site" или нет? Что сделал: 1) Прописал в .htaccess директиву: <IfModule mod_rewrite.c> RewriteRule ^robots.txt$ robots.php ... </IfModule> 2) Создал robots.php добавил туда все, что было в robots.txt, + то, что у вас написано, вышло так: <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Sitemap: http://$server/sitemap_files.xml ..........много всего по оптимизации с директивой disallow....... User-agent: Yandex ..........много всего по оптимизации с директивой disallow....... Clean-param: tracking Host: $server Sitemap: http://$server/sitemap_files.xml "; User-Agent: Googlebot Disallow: /bitrix/ Sitemap: http://$server/sitemap_files.xml header("Content-Type: text/plain"); echo $text; exit; 3) сохранил, зашел в вебмастер и он все равно выдает то же, что и было, как будто читает robots.txt (см картинку) Подскажите может что-то увидели не правильное в моих действиях? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 2 года спустя... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 В 14.06.2017 в 21:27, Tom сказав: ... Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. ... Приветствую, я новичек, слепил на опенкарт-3 сайт https://embroides.com/ начал вникать в SEO. Разобрался с сайтмап, подключился к гугл и яндексу. Теперь думаю, а ну-ка роботс буду править, глядь - а нету его нигде у меня. Может такое быть? Нужен ли он вообще? Спасибо за ответ, извините за беспокойство. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Tom Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 Нужен. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 2 хвилини назад, Tom сказав: Нужен. Смотрю по рекомендации здесь https://shopiweb.ru/files/robots-opencart.txt Копирую это в robots.txt и заливаю в корневую? И все? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 4 недели спустя... poetiq Опубликовано: 25 мая 2020 Поделиться Опубликовано: 25 мая 2020 В 27.05.2017 в 01:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Будет работать только на апаче, на nginx такое не работает, т.к. яндекс не принимает редирект: Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... kachulin Опубликовано: 3 июля 2020 Поделиться Опубликовано: 3 июля 2020 На nginx все норм, сервер отдает ответ 200 Правда .htaccess у меня не работает, прописал правило в панели управления location = /robots.txt { rewrite ^(.*)$ /robots.php; } Еще пришлось заменить $server = $_SERVER['SERVER_NAME']; На $server = $_SERVER['HTTP_HOST']; Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 год спустя... book Опубликовано: 24 декабря 2021 Поделиться Опубликовано: 24 декабря 2021 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте! Подскажите, пожалуйста, скрипт, чтобы читал robots.php и генерировал robots.txt? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 1 Перейти к списку тем Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Реклама и продвижение SEO-вопросы (оптимизация и продвижение магазина) robots Покупцям Оплата розширень фізичними особами Оплата розширень юридичними особами Політика повернень Розробникам Регламент розміщення розширень Регламент продажу та підтримки розширень Віртуальний обліковий запис автора Політика просування оголошень API каталогу розширень Вирішення спорів щодо авторських прав Корисна інформація Публічна оферта Політика повернень Політика конфіденційності Платіжна політика Політика передачі особистих даних Політика прозорості Останні розширення Deals – адаптивный универсальный шаблон Автор: octemplates Динамичесткая инфострока в шапке + позиция в макете для opencart\ocstore 2x, 3x Автор: Lito911 Единицы Измерения Товара Автор: RoS Opencart Product Search by Image Автор: slavoglo Простой массовый редактор цен. Fast Price Edit Автор: Sha
magzhan9292 Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 Для идеальности надо убрать строку Disallow: /admin Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Grodas Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 В 25.05.2017 в 10:45, Rubik сказал: Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2 Правильного robots.txt в природе не существует. Все зависит от того, что именно нужно запретить к индексации. Для составления robots.txt существуют некие правила от ПС, которые как правило (заметьте), носят рекомендательный характер. Подробнее почитать от Гугла и Яндекса: https://support.google.com/webmasters/answer/6062608?hl=ru https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml По сути все просто: Определить директории или ссылки, которые вы хотите запретить к индексации в ПС. Запретить их в файле robots.txt Как это сделать вручную или сгенерировать? (по сути неважно) Если генерировать роботс тхт, то лучше всего, после генерации, вручную проверить, что там генератор нагенерировал)). Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 6 месяцев спустя... Artem1717 Опубликовано: 13 марта 2018 Поделиться Опубликовано: 13 марта 2018 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте, являюсь профаном, пытаюсь найти решение для домена типа site.ru. Сайт на BITRIX. Есть поддомен spb.site.ru, попробовал 6 методов и вот попробовал по вашему тоже не вышло, но много положительных отзывов, может я что то не проставил где-то? К примеру, нужно ли заменять где - либо слово server на "site" или нет? Что сделал: 1) Прописал в .htaccess директиву: <IfModule mod_rewrite.c> RewriteRule ^robots.txt$ robots.php ... </IfModule> 2) Создал robots.php добавил туда все, что было в robots.txt, + то, что у вас написано, вышло так: <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Sitemap: http://$server/sitemap_files.xml ..........много всего по оптимизации с директивой disallow....... User-agent: Yandex ..........много всего по оптимизации с директивой disallow....... Clean-param: tracking Host: $server Sitemap: http://$server/sitemap_files.xml "; User-Agent: Googlebot Disallow: /bitrix/ Sitemap: http://$server/sitemap_files.xml header("Content-Type: text/plain"); echo $text; exit; 3) сохранил, зашел в вебмастер и он все равно выдает то же, что и было, как будто читает robots.txt (см картинку) Подскажите может что-то увидели не правильное в моих действиях? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 2 года спустя... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 В 14.06.2017 в 21:27, Tom сказав: ... Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. ... Приветствую, я новичек, слепил на опенкарт-3 сайт https://embroides.com/ начал вникать в SEO. Разобрался с сайтмап, подключился к гугл и яндексу. Теперь думаю, а ну-ка роботс буду править, глядь - а нету его нигде у меня. Может такое быть? Нужен ли он вообще? Спасибо за ответ, извините за беспокойство. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Tom Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 Нужен. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 2 хвилини назад, Tom сказав: Нужен. Смотрю по рекомендации здесь https://shopiweb.ru/files/robots-opencart.txt Копирую это в robots.txt и заливаю в корневую? И все? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 4 недели спустя... poetiq Опубликовано: 25 мая 2020 Поделиться Опубликовано: 25 мая 2020 В 27.05.2017 в 01:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Будет работать только на апаче, на nginx такое не работает, т.к. яндекс не принимает редирект: Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... kachulin Опубликовано: 3 июля 2020 Поделиться Опубликовано: 3 июля 2020 На nginx все норм, сервер отдает ответ 200 Правда .htaccess у меня не работает, прописал правило в панели управления location = /robots.txt { rewrite ^(.*)$ /robots.php; } Еще пришлось заменить $server = $_SERVER['SERVER_NAME']; На $server = $_SERVER['HTTP_HOST']; Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 год спустя... book Опубликовано: 24 декабря 2021 Поделиться Опубликовано: 24 декабря 2021 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте! Подскажите, пожалуйста, скрипт, чтобы читал robots.php и генерировал robots.txt? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 1 Перейти к списку тем Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу. Последние темы Последние дополнения Последние новости Вся активность Главная Реклама и продвижение SEO-вопросы (оптимизация и продвижение магазина) robots
Grodas Опубликовано: 14 августа 2017 Поделиться Опубликовано: 14 августа 2017 В 25.05.2017 в 10:45, Rubik сказал: Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2 Правильного robots.txt в природе не существует. Все зависит от того, что именно нужно запретить к индексации. Для составления robots.txt существуют некие правила от ПС, которые как правило (заметьте), носят рекомендательный характер. Подробнее почитать от Гугла и Яндекса: https://support.google.com/webmasters/answer/6062608?hl=ru https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml По сути все просто: Определить директории или ссылки, которые вы хотите запретить к индексации в ПС. Запретить их в файле robots.txt Как это сделать вручную или сгенерировать? (по сути неважно) Если генерировать роботс тхт, то лучше всего, после генерации, вручную проверить, что там генератор нагенерировал)). Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
Artem1717 Опубликовано: 13 марта 2018 Поделиться Опубликовано: 13 марта 2018 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте, являюсь профаном, пытаюсь найти решение для домена типа site.ru. Сайт на BITRIX. Есть поддомен spb.site.ru, попробовал 6 методов и вот попробовал по вашему тоже не вышло, но много положительных отзывов, может я что то не проставил где-то? К примеру, нужно ли заменять где - либо слово server на "site" или нет? Что сделал: 1) Прописал в .htaccess директиву: <IfModule mod_rewrite.c> RewriteRule ^robots.txt$ robots.php ... </IfModule> 2) Создал robots.php добавил туда все, что было в robots.txt, + то, что у вас написано, вышло так: <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Sitemap: http://$server/sitemap_files.xml ..........много всего по оптимизации с директивой disallow....... User-agent: Yandex ..........много всего по оптимизации с директивой disallow....... Clean-param: tracking Host: $server Sitemap: http://$server/sitemap_files.xml "; User-Agent: Googlebot Disallow: /bitrix/ Sitemap: http://$server/sitemap_files.xml header("Content-Type: text/plain"); echo $text; exit; 3) сохранил, зашел в вебмастер и он все равно выдает то же, что и было, как будто читает robots.txt (см картинку) Подскажите может что-то увидели не правильное в моих действиях? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 В 14.06.2017 в 21:27, Tom сказав: ... Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина. ... Приветствую, я новичек, слепил на опенкарт-3 сайт https://embroides.com/ начал вникать в SEO. Разобрался с сайтмап, подключился к гугл и яндексу. Теперь думаю, а ну-ка роботс буду править, глядь - а нету его нигде у меня. Может такое быть? Нужен ли он вообще? Спасибо за ответ, извините за беспокойство. Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
Tom Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 Нужен. 1 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 2 хвилини назад, Tom сказав: Нужен. Смотрю по рекомендации здесь https://shopiweb.ru/files/robots-opencart.txt Копирую это в robots.txt и заливаю в корневую? И все? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 4 недели спустя... poetiq Опубликовано: 25 мая 2020 Поделиться Опубликовано: 25 мая 2020 В 27.05.2017 в 01:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Будет работать только на апаче, на nginx такое не работает, т.к. яндекс не принимает редирект: Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... kachulin Опубликовано: 3 июля 2020 Поделиться Опубликовано: 3 июля 2020 На nginx все норм, сервер отдает ответ 200 Правда .htaccess у меня не работает, прописал правило в панели управления location = /robots.txt { rewrite ^(.*)$ /robots.php; } Еще пришлось заменить $server = $_SERVER['SERVER_NAME']; На $server = $_SERVER['HTTP_HOST']; Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 год спустя... book Опубликовано: 24 декабря 2021 Поделиться Опубликовано: 24 декабря 2021 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте! Подскажите, пожалуйста, скрипт, чтобы читал robots.php и генерировал robots.txt? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 1 Перейти к списку тем Сейчас на странице 0 пользователей Нет пользователей, просматривающих эту страницу.
Stakhoff Опубликовано: 27 апреля 2020 Поделиться Опубликовано: 27 апреля 2020 2 хвилини назад, Tom сказав: Нужен. Смотрю по рекомендации здесь https://shopiweb.ru/files/robots-opencart.txt Копирую это в robots.txt и заливаю в корневую? И все? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
poetiq Опубликовано: 25 мая 2020 Поделиться Опубликовано: 25 мая 2020 В 27.05.2017 в 01:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Будет работать только на апаче, на nginx такое не работает, т.к. яндекс не принимает редирект: Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 месяц спустя... kachulin Опубликовано: 3 июля 2020 Поделиться Опубликовано: 3 июля 2020 На nginx все норм, сервер отдает ответ 200 Правда .htaccess у меня не работает, прописал правило в панели управления location = /robots.txt { rewrite ^(.*)$ /robots.php; } Еще пришлось заменить $server = $_SERVER['SERVER_NAME']; На $server = $_SERVER['HTTP_HOST']; Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... 1 год спустя... book Опубликовано: 24 декабря 2021 Поделиться Опубликовано: 24 декабря 2021 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте! Подскажите, пожалуйста, скрипт, чтобы читал robots.php и генерировал robots.txt? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться... Создайте аккаунт или войдите в него для комментирования Вы должны быть пользователем, чтобы оставить комментарий Создать аккаунт Зарегистрируйтесь для получения аккаунта. Это просто! Зарегистрировать аккаунт Войти Уже зарегистрированы? Войдите здесь. Войти сейчас Поделиться Больше способов поделиться... Подписчики 1
kachulin Опубликовано: 3 июля 2020 Поделиться Опубликовано: 3 июля 2020 На nginx все норм, сервер отдает ответ 200 Правда .htaccess у меня не работает, прописал правило в панели управления location = /robots.txt { rewrite ^(.*)$ /robots.php; } Еще пришлось заменить $server = $_SERVER['SERVER_NAME']; На $server = $_SERVER['HTTP_HOST']; Т.к. $_SERVER['SERVER_NAME'] отдаёт какое-то неприменимое имя технического домена 2 Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
book Опубликовано: 24 декабря 2021 Поделиться Опубликовано: 24 декабря 2021 В 26.05.2017 в 23:26, Yoda сказал: Удачи, я ваша волшебная фея. Идеальный роботс для разных магазинов за 3 минуты: 1. Размещаем в корне файл robots.php Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое. <?php $server = $_SERVER['SERVER_NAME']; $text = "User-agent: * Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp User-agent: Yandex Disallow:/admin Disallow:/catalog Disallow:/download Disallow:/system Disallow:/index.php?route=account/account Disallow:/index.php?route=account/simpleregister Disallow:/index.php?route=account/login Disallow:/index.php?route=account/logout Disallow:/index.php?route=account/forgotten Disallow:/index.php?route=account/simpleedit Disallow:/index.php?route=account/address Disallow:/index.php?route=account/voucher Disallow:/index.php?route=account/reward Disallow:/index.php?route=account/wishlist Disallow:/index.php?route=account/newsletter Disallow:/index.php?route=account/order Disallow:/index.php?route=account/transaction Disallow:/index.php?route=account/return Disallow:/index.php?route=account/return/insert Disallow:/index.php?route=account/download Disallow:/index.php?route=affiliate/account Disallow:/index.php?route=affiliate/register Disallow:/index.php?route=affiliate/login Disallow:/index.php?route=affiliate/logout Disallow:/index.php?route=affiliate/forgotten Disallow:/index.php?route=affiliate/edit Disallow:/index.php?route=affiliate/password Disallow:/index.php?route=affiliate/transaction Disallow:/index.php?route=affiliate/payment Disallow:/index.php?route=affiliate/tracking Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/simplecheckout Disallow:/index.php?route=checkout/success Disallow:/index.php?route=product/search Disallow:/index.php?route=product/quickview Disallow:/*?filter_name= Disallow:/*&filter_name= Disallow:/*?filter_ocfilter= Disallow:/*&filter_ocfilter= Disallow:/*?filter_sub_category= Disallow:/*&filter_sub_category= Disallow:/*?filter_description= Disallow:/*&filter_description= Disallow:/index.php?route=product/compare Disallow:/*?sort= Disallow:/*&sort= Disallow:/*?order= Disallow:/*&order= Disallow:/*?limit= Disallow:/*&limit= Disallow:/*?tracking= Disallow:/*&tracking= Disallow:/*? Disallow:/*amp Host: $server Sitemap: http://$server/sitemap.xml "; header("Content-Type: text/plain"); echo $text; exit; ?> 2. Добавляем в .htaccess директиву: RewriteRule ^robots.txt$ robots.php Я надеюсь все довольны. Здравствуйте! Подскажите, пожалуйста, скрипт, чтобы читал robots.php и генерировал robots.txt? Ссылка на комментарий Поделиться на других сайтах Больше способов поделиться...
Рекомендованные сообщения