Перейти к содержанию

Рекомендуемые сообщения

Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Добрый день,

 

Вы можете использовать нашу разработку «NeoSeo Генератор robots.txt».

Для более детальной информации оставьте запрос на info@neoseo.com.ua

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В 25.05.2017 в 10:45, Rubik сказал:

где найти правильный rorobts.txt

Единственно правильного robots.txt не существует.

Если вы используете сборку без дополнений, того что идёт из коробк, достаточно.

Если же вы расширяете функционал доп.модулями, тут нужно смотреть индивидуально.

Модули (фильтры например) могут добавлять лишние страницы, которые не нужны в индексе ПС.

Их и нужно закрывать в robots.txt от индексации.

 

P.S. У вас есть вопрос? Вы создали тему чтобы получить ответ на свой вопрос? И вам в ответ прилетает сообщение с нулевой смысловой нагрузкой и случайным набором символов (info@neoseo) - нажмите стрелочку вниз на красном фоне, помогите спамеру выйти в ТОП))

Изменено пользователем RHCk
  • +1 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
32 минуты назад, RHCk сказал:

И вам в ответ прилетает сообщение с нулевой смысловой нагрузкой и случайным набором символов (info@neoseo) - нажмите стрелочку вниз на красном фоне, помогите спамеру выйти в ТОП))

Вы смотрели сколько и какие модули у этого спамера?

И сколько у него сообщений???

И сколько реальных выполненных проектов?

 

А может вы расскажете, или знаете как работает его генератор?
А что такое мультимагазин, или что такое роботс для мультимагазина?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1 час назад, chukcha сказал:

И сколько у него сообщений???

И сколько реальных выполненных проектов?

 

Смотрели, знаем =) Ссылку дать на йодаблог? Странно, что Вы одобряете такой спам.

Изменено пользователем WarStyle

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А йода это авторитет? и мне жить по его понятиям? :)

И что вы там видели?

Необоснованные обвинения?
Еще странно, что и меня там нет :)

 

Спам? Человек предлагает уже готовые решения, причем предлагает как автор.

5 минут назад, WarStyle сказал:

Смотрели, знаем =)

И что вы там видели?

Закрытые, но работающие модули?
Скажем так, я не сторонник кубирования, но если решение работает, и автор гарантирует поддержку.. То в чем проблема этого спама?

 

Здесь нет принципа

 

Не можешь - научим

Не хочешь - заставим

 

Здесь есть принцип

 

Не учишь - плати

 

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
2 часа назад, chukcha сказал:

Здесь есть принцип

 

Не учишь - плати

 

Поправлю во избежание неверного толкования: Не учишься - плати.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 часа назад, chukcha сказал:

А йода это авторитет? и мне жить по его понятиям? :)

И что вы там видели?

Необоснованные обвинения?
Еще странно, что и меня там нет :)


Причём тут авторитет? Хотя учитывая уровень его знаний - для меня да, авторитет. Он несколько раз писал про поделки данного автора, но суть не в этом. Суть в том, что за последние несколько дней я ни разу не видел, чтобы хоть раз человек кроме своей почты писал что-то полезное. Такое чувство, что здесь биржа труда фриланс или доска объявлений, научить, подсказать даже не пытался. Я понимаю, что за труд нужно что-то получать, но есть же пределы разумного.

 

З.Ы. Alex спасибо что услышали, хоть в ЛС начали писать

  • +1 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
5 часов назад, WarStyle сказал:

Суть в том, что за последние несколько дней я ни разу не видел, чтобы хоть раз человек кроме своей почты писал что-то полезное.

Это ваша проблема.

Назовите поделки.. Кстати, сам автор признается, да у него есть фуфло-модули.
То что он предлагает - он предлагает готовые решения, которые есть здесь, в магазине дополнений.

Кроме того - автор много работает, а балоболов :) типа меня, еща раз смайл :) и так достаточно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
10 часов назад, chukcha сказал:

Вы смотрели сколько и какие модули у этого спамера?

Нет. В этом не было необходимости, и уверен не будет.

10 часов назад, chukcha сказал:

И сколько у него сообщений???

Количество сообщений это критерий чего?

Сколько из них отличаются от сообщения выше?

Посмотрите здесь, исключительно для сравнения.

10 часов назад, chukcha сказал:

А может вы расскажете, или знаете как работает его генератор?

Это жизненно необходимые знания? Или это тоже критерий чего-либо?

10 часов назад, chukcha сказал:

А что такое мультимагазин, или что такое роботс для мультимагазина?

Вы меня экзаменуете?

Нет необходимости валить всё в одну кучу.

Если Вы хотите узнать знакомы ли мне эти понятия - да, знакомы.

И они никак не связаны с автором сообщения, к которому я написал "рецензию".

 

Что касается общих моментов, моё мнение такое - здесь форум, т.е. ресурс для безвозмездного обмена знаниями и опытом.

Ответ на любой незначительный вопрос может быть полезен кому-то ещё в будущем.

Ответы "напишите мне...", "решу недорого..." и т.д., смысловой нагрузки не несут.

А если вопрос важен, вызывают негативную реакцию и ощущение, что вопрошающего хотят просто ошкурить.

Если кто-либо хочет предложить свои услуги, в том числе и возмездно, вполне себе может написать автору вопроса в личку, оставив выбор принятия предложения за ним.

Причём в отписке в теме "написал в личку" тоже необходимости нет, сообщение не останется незамеченым.

Для тех кто ищет решение на платной основе, есть раздел форума и он обратится туда сознательно.

Совершенно же несложно понять, что чем больше вы помогаете с простыми вопросами, те вероятнее к вам обратятся за решением более объёмного вопроса на платной основе.

Всего Вам хорошего и удачи!

  • +1 3

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

мне надо желать удачи

Не учишься - плати

В 25.05.2017 в 10:45, Rubik сказал:

Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2

Опа.. люди тратят не мало сил на чтение разного рода ресурсов, отсеивая шлак

В 25.05.2017 в 12:16, alexsoftdev сказал:

Вы можете использовать нашу разработку «NeoSeo Генератор robots.txt».

И сразу совет

не учишься - плати.

И головной боли не будет. Посмотрите работу модуля.

12 минут назад, RHCk сказал:

Если Вы хотите узнать знакомы ли мне эти понятия - да, знакомы.

Зачем мне вас экзаменовать.
Сделайте роботс для разных магазинов

 

Поделитесь...

Что ж вы не поделились?

13 минут назад, RHCk сказал:

здесь форум, т.е. ресурс для безвозмездного обмена знаниями и опытом.

Что ж вы не поделились?

 

16 минут назад, RHCk сказал:

Для тех кто ищет решение на платной основе, есть раздел форума и он обратится туда сознательно.

Да? А вддруг отвалится кусочек, и кто-то выложит идеальный код.
Без
Не учишься...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
10 минут назад, chukcha сказал:


Сделайте роботс для разных магазинов

 

Поделитесь...

Что ж вы не поделились?

Что ж вы не поделились?

 

Да? А вддруг отвалится кусочек, и кто-то выложит идеальный код.
Без
Не учишься...

 

Удачи, я ваша волшебная фея.
Идеальный роботс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое.

 

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system
Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp



User-agent: Yandex

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system

Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp
Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву:

RewriteRule ^robots.txt$ robots.php

Я надеюсь все довольны.

  • +1 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Прекрасно :)

 

т.е.

Disallow:/index.php?route=product/quickview

 

/?route=product/quckview -можно индексировать.

Где же идеальный?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Простите, у вас со зрением плохо?

Цитата

Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
46 минут назад, Yoda сказал:

Идеальный роботс для разных магазинов за 3 минуты:

Это первично.

 

Индивидуальный проект - вторичен.

 

Да, я в очках. И...?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
24 минуты назад, chukcha сказал:

И...?

Можно - возможность, нужно - необходимость.

Не всё то, что возможно, суть необходимо.

Страницы фильтра, например, тоже можно индексировать, и ПСы за милую душу это делают, если не закрыть их в robots.txt

Тогда, следуя Вашей логике, приходим к тому, что необходимость в robots.txt отпадёт совсем.

 

24 минуты назад, chukcha сказал:

...первично

...вторичен.

Неправильная расстановка приоритетов этапов решения задач проекта зачастую заводят решение задач в тупик, или непрогнозируемо увеличивает бюджет.

 

Также в сети более чем достаточно ресурсов с описанием синтаксиса robots.txt

Ищутся по запросу 'синтаксис robots.txt'.

И далее Вашими же словами:

1 час назад, chukcha сказал:

не учишься - плати.

И головной боли не будет

 

С уважением.

Изменено пользователем RHCk

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
2 минуты назад, RHCk сказал:

Неправильная расстановка приоритетов этапов решения

Неправильная расстановка возможностей.

 

Нужен идеальный

Сейчас за 3 минтуы

 

Вот пример из реального проекта.

 

Где идеальный?

4 минуты назад, RHCk сказал:

Страницы фильтра тоже можно индексировать,

Такс.. а в реальном проекте у нас что?

ага - закрыли

 

Так нужно индексировать? Или можно индексировать?

 

Теперь берем предложенный генератор, не.. еще не купили, а толко с автором пообщались

Выяснили задачи, наличие закрываемых сущностей, (т.е. ТЗ)

Установили, настроили, забыли.

 

И.. да конечно -

9 минут назад, RHCk сказал:

Ищутся по запросу 'синтаксис robots.txt'.

Это никто не отменял

 

В случае проблем - к автору модуля. Не на форум, а к автору, который расскажет, пояснит, в случае необходимости обратится к специалисту из команды.

 

зы. если что я не в той команде.

ззы. Я также не приветствую - обращайтесь сделаю, в личку. и подобное. Но данный случай - это в первую очередь заявить о себе и разработке, во вторую заставить ТС воспользоваться поиском, а вдруг не умеет? И третье , и четвертое можно найти.
зззы В тех случаях где я заинтересован в работе я сразу пишу в личку. И.. но почему я имею свой генератор robots :)
 

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
31 минуту назад, chukcha сказал:

Неправильная расстановка возможностей.

Возможности безграничны. Время невосполняемый ресурс. К сожалению.

31 минуту назад, chukcha сказал:

берем ... генератор... Выяснили задачи... Установили, настроили... В случае проблем - к автору модуля... в случае необходимости обратится к специалисту...

Уверен, это займёт больше трёх минут.

И это только то, что касается robots.txt

31 минуту назад, chukcha сказал:

Но данный случай - это в первую очередь заявить о себе

Я заранее прошу извинить за оффтоп, далее исключительно ассоциации, никаких аналогий, в лёгкой непринуждённой форме:

Скрытый текст

Шёл джигит по горам, услышал крик... крик повторяется.

Джигит пошёл на крик, чтобы разузнать в чём дело.

Зашёл в пешеру, а там Синяя Птица Удачи сидит голой ж*п*й на раскалённой сковородке и кричит.

Джигит спрашивает: Зачем, слушай, делаешь так?

СПУ: А по-другому вы меня не находите...

ИМХО, лучший способ заявить о себе - быть полезным, тогда будут и рекомендации.

А публично навязывать свои услуги, думаю, не серьёзно это. Совсем.

31 минуту назад, chukcha сказал:

но почему я имею свой генератор robots

У каждого есть свои скелеты в шкафу:)

Изменено пользователем RHCk

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Только на этом форуме данный вопрос обсуждается в нескольких отдельных темах и нигде нет ясности.

Не понятно почему надо именно так и зачем.

Скрытый текст

 

 

Новичку типа меня разобраться сложно и я не уверен, что разобрался до конца и все сделал правильно, но возможно кому-то поможет мой robots.txt с пояснениями, а кто-то найдет в нем ошибки и поправит:

Скрытый текст

#############################################
#некоторые выдержки по синтаксису robots.txt#
#############################################
#Disallow: / - блокирует доступ робота к страницам, начинающимся с /xxx
#Allow: / разрешает доступ робота к разделам начинающимся с /xxx
#Перед каждой директивой User-agent рекомендуется вставлять пустой перевод строки.
#Символ # предназначен для описания комментариев.
#Все, что находится после символа # и до первого перевода строки не учитывается.
#Спецсимвол * означает любую (в том числе пустую) последовательность символов
#Пример: Disallow: /*private - запрещает не только '/private', но и '/cgi-bin/private'
#(По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *
#Чтобы отменить * на конце правила, можно использовать спецсимвол $, например:
#Пример: Disallow: /example$ - запрещает '/example', но не запрещает '/example.html')
#
User-agent: *
##################################
#стандартный robots.txt ocStore2 #
##################################
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
#
####################
#добавлено - разное#
####################
Disallow: /compare-products # Сравнение товаров
Disallow: /search # страница поиска
Disallow: /cart # Корзина
Disallow: /checkout # Оформление заказа
Disallow: /*simple #  Все страницы модуля simple
#Disallow: /*success # Страницы Успешного заказа
Disallow: /gift-vouchers
#
############################
#добавлено - личный кабинет#
############################
Disallow: /login # Авторизация в Личном Кабинете
Disallow: /logout # Выход из Личного Кабинета
Disallow: /my-account # Личный Кабинет
Disallow: /vouchers # Подарочный сертификат
Disallow: /wishlist # Мои закладки
Disallow: /edit-account # Изменение учетной записи (->simpleedit)
Disallow: /create-account # Создание учетной записи (->my-account)
Disallow: /order-history # История заказов
Disallow: /newsletter # Подписка на новости
Disallow: /forgot-password # Напомнить пароль
Disallow: /downloads # файлы для скачивания
Disallow: /transactions # История платежей
Disallow: /address-book # Личный кабинет/Список адресов доставки
Disallow: /reward-points # Бонусные баллы
Disallow: /change-password # Смена пароля
Disallow: /wishlist # Мои закладки
Disallow: /*recurring # Периодические платежи
Disallow: /*return # Все страницы Возврата товара
Disallow: /*affiliate # Все страницы Кабинета Партнера
#
#####################################################
#добавлено - разблокировка скриптов и стилей шаблона#
#####################################################
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
#
Sitemap: https://мой_домен/index.php?route=feed/google_sitemap

 

User-agent: Yandex
##################################
#стандартный robots.txt ocStore2 #
##################################
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
#
####################
#добавлено - разное#
####################
Disallow: /compare-products # Сравнение товаров
Disallow: /search # страница поиска
Disallow: /cart # Корзина
Disallow: /checkout # Оформление заказа
Disallow: /*simple #  Все страницы модуля simple
#Disallow: /*success # Страницы Успешного заказа
Disallow: /gift-vouchers
#
############################
#добавлено - личный кабинет#
############################
Disallow: /login # Авторизация в Личном Кабинете
Disallow: /logout # Выход из Личного Кабинета
Disallow: /my-account # Личный Кабинет
Disallow: /vouchers # Подарочный сертификат
Disallow: /wishlist # Мои закладки
Disallow: /edit-account # Изменение учетной записи (->simpleedit)
Disallow: /create-account # Создание учетной записи (->my-account)
Disallow: /order-history # История заказов
Disallow: /newsletter # Подписка на новости
Disallow: /forgot-password # Напомнить пароль
Disallow: /downloads # файлы для скачивания
Disallow: /transactions # История платежей
Disallow: /address-book # Личный кабинет/Список адресов доставки
Disallow: /reward-points # Бонусные баллы
Disallow: /change-password # Смена пароля
Disallow: /wishlist # Мои закладки
Disallow: /*recurring # Периодические платежи
Disallow: /*return # Все страницы Возврата товара
Disallow: /*affiliate # Все страницы Кабинета Партнера
#
#####################################################
#добавлено - разблокировка скриптов и стилей шаблона#
#####################################################
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
#
Clean-param: tracking

Sitemap: https://мой_домен/index.php?route=feed/yandex_sitemap
#

Host: https://мой_домен.ru

             

             У многих в их примерах видел когда было прописано

Disallow: /*route=account/simpleedit
Disallow: /simplecheckout
Disallow: /simpleregister

 

             но согласно правил синтаксиса эти 3 строки можно заменить одной

Disallow: /*simple

            и т.п.

            

Зачем добавлять что-то в robots.txt ответил автор одного модуля в его описании здесь

Зачем открывать скрипты и стили шаблона прочитал здесь

 

И когда уже кое-что с этим robots.txt стало более менее понятно, попадаю на эту тему

и оказывается что он и не нужен вовсе этот robots.txt :o

а нужно в каждом контроллере закрывать нужные страницы от индексации с помощью мета-тега robots...

 

Баста, приехали!!!

 

Вот robots.txt моего товарища, сайт которого в ТОП-3 ПС по большинству запросов, свойственных его нише (Проверял, причем чаще всего на 1-й).

Сайт на joomla, но сути это не меняет:

Скрытый текст

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

 

Возможно ему просто с нишей повезло. Но всё равно, вам не кажется, что все уж слишком заморочились с этим вопросом? 

Изменено пользователем Paint
  • +1 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Не плохой пост.Плюсанул. Моё мнение такое,купили вы себе квартирку,полазили по журналам о ремонте, каталогам мебели и штор, посмотрели ютьюб и вперёд,делать как у всех но сугубо своё индивидуальное.

Так и здесь.В Opencart из коробки лежит robots, все остальные телодвижения с ним это индивидуальная потребность каждого отдельно взятого магазина.

Скрыть страницы какого либо модуля,фильтра итп.Открыть стили,скрипты и картинки своего шаблона,для мобильной версии. Итд итп.Видимо поэтому столько тем,в каждой из которых десятки мнений и решений.Ваше в любом случае будем средним арифметическим ....

Как то так.

  • +1 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для идеальности надо убрать строку

Disallow: /admin  

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В 25.05.2017 в 10:45, Rubik сказал:

Здравствуйте, подскажите пж где найти правильный rorobts.txt для opencart 2.1.0.2

Правильного robots.txt в природе не существует.

Все зависит от того, что именно нужно запретить к индексации.

Для составления robots.txt существуют некие правила от ПС, которые как правило (заметьте), носят рекомендательный характер.

Подробнее почитать от Гугла и Яндекса:

По сути все просто:

  1. Определить директории или ссылки, которые вы хотите запретить к индексации в ПС.
  2. Запретить их в файле robots.txt

Как это сделать вручную или сгенерировать? (по сути неважно)
Если генерировать роботс тхт, то лучше всего, после генерации, вручную проверить, что там генератор нагенерировал)).

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В 26.05.2017 в 23:26, Yoda сказал:

 

Удачи, я ваша волшебная фея.
Идеальный роботс для разных магазинов за 3 минуты:

 

1. Размещаем в корне файл robots.php
Ниже приведенный листинг директив с индивидуального проекта - каждый может добавить необходимое.

 


<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system
Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp



User-agent: Yandex

Disallow:/admin
Disallow:/catalog
Disallow:/download
Disallow:/system

Disallow:/index.php?route=account/account
Disallow:/index.php?route=account/simpleregister
Disallow:/index.php?route=account/login
Disallow:/index.php?route=account/logout
Disallow:/index.php?route=account/forgotten
Disallow:/index.php?route=account/simpleedit
Disallow:/index.php?route=account/address
Disallow:/index.php?route=account/voucher
Disallow:/index.php?route=account/reward
Disallow:/index.php?route=account/wishlist
Disallow:/index.php?route=account/newsletter
Disallow:/index.php?route=account/order
Disallow:/index.php?route=account/transaction
Disallow:/index.php?route=account/return
Disallow:/index.php?route=account/return/insert
Disallow:/index.php?route=account/download

Disallow:/index.php?route=affiliate/account
Disallow:/index.php?route=affiliate/register
Disallow:/index.php?route=affiliate/login
Disallow:/index.php?route=affiliate/logout
Disallow:/index.php?route=affiliate/forgotten
Disallow:/index.php?route=affiliate/edit
Disallow:/index.php?route=affiliate/password
Disallow:/index.php?route=affiliate/transaction
Disallow:/index.php?route=affiliate/payment
Disallow:/index.php?route=affiliate/tracking


Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/simplecheckout
Disallow:/index.php?route=checkout/success

Disallow:/index.php?route=product/search
Disallow:/index.php?route=product/quickview
Disallow:/*?filter_name=
Disallow:/*&filter_name=
Disallow:/*?filter_ocfilter=
Disallow:/*&filter_ocfilter=
Disallow:/*?filter_sub_category=
Disallow:/*&filter_sub_category=
Disallow:/*?filter_description=
Disallow:/*&filter_description=

Disallow:/index.php?route=product/compare

Disallow:/*?sort=
Disallow:/*&sort=
Disallow:/*?order=
Disallow:/*&order=
Disallow:/*?limit=
Disallow:/*&limit=
Disallow:/*?tracking=
Disallow:/*&tracking=
Disallow:/*?
Disallow:/*amp
Host: $server
Sitemap: http://$server/sitemap.xml
";

header("Content-Type: text/plain");
echo $text;
exit;

?>

 

2. Добавляем в .htaccess директиву:


RewriteRule ^robots.txt$ robots.php

Я надеюсь все довольны.

Здравствуйте, являюсь профаном, пытаюсь найти решение для домена типа site.ru. Сайт на BITRIX. Есть поддомен spb.site.ru, попробовал 6 методов и вот попробовал по вашему тоже не вышло, но много положительных отзывов, может я что то не проставил где-то? 
К примеру, нужно ли заменять где - либо слово server на "site" или нет?
Что сделал:
1) Прописал в .htaccess директиву:

<IfModule mod_rewrite.c>
  RewriteRule ^robots.txt$ robots.php
...
</IfModule>

2) Создал robots.php
добавил туда все, что было в robots.txt, + то, что у вас написано, вышло так:

<?php
$server = $_SERVER['SERVER_NAME'];
$text =  "User-agent: *
Sitemap: http://$server/sitemap_files.xml
..........много всего по оптимизации с директивой disallow.......

User-agent: Yandex
..........много всего по оптимизации с директивой disallow.......
Clean-param: tracking
Host: $server
Sitemap: http://$server/sitemap_files.xml
";

User-Agent: Googlebot
Disallow: /bitrix/
Sitemap: http://$server/sitemap_files.xml

header("Content-Type: text/plain");
echo $text;
exit;


3) сохранил, зашел в вебмастер и он все равно выдает то же, что и было, как будто читает robots.txt (см картинку)
Подскажите может что-то увидели не правильное в моих действиях?

2018-03-13_20-42-00.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.