Jump to content
Sign in to follow this  
buin

запрет определенных ссылок с символами после слеша в robots.txt

Recommended Posts

Допустим robots.txt

...

Allow: /категория1
# здесь разрешаю поисковикам видеть категорию, ибо гуглится по описанию
Allow: /категория1/подкатегория1
Disallow: /категория1/(здесь хз что ставить)
# чтобы запретить поисковикам видеть любые страницы с символом после слеша в категории1
...

Возможно ли это?

:oops:

Share this post


Link to post
Share on other sites

можно так:

Disaiiov: *search?*

тоесть говорим поисковику -- еслив урле встречаешь *search?* то эту страницу не индексируй

Поставь *

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Similar Content

    • By neoseo
      Зачем нужен файл robots.txt в Интернет-магазине на OpenCart?   Первый, ну или второй шаг по поисковому продвижению сайта (SEO) - это создание файла robots.txt.  
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Обращаем внимание:
       
      1. Все обновления к купленным модулям - бесплатно и навсегда.
      2. Техническая поддержка и оперативные ответы на вопросы - бесплатно и навсегда.
      3. NEW! Помощь в установке и устранении ошибок при установке модулей - бесплатно и навсегда, но в порядке общей очереди.
      4. NEW! Оперативный удаленный помощник по TeamViewer по специальному тарифу, 15 мин. - 369 руб. для тех, кому нужно уже, не дожидаясь бесплатной поддержки, которая предоставляется в порядке общей очереди.
      5. NEW! Все полезные доработки модулей, мы выполним по спец. тарифу, за 50% стоимости. За деталями пишите на info@neoseo.com.ua
       
      Обращаем внимание,  что с 01.08.2019 года техническая поддержка осуществляется исключительно через обращение на почту  info@neoseo.com.ua  Если у Вас есть вопросы информационного характера, пожалуйста, напишите в ЛС или позвоните нам:
      Россия, все звонки бесплатно
      8 800 551 94 15
        Украина: +380 67 67 07 647 +380 63 71 70 763
      +380 50 34 58 565
       
       
      МЫ РАБОТАЕМ:
      Понедельник-пятница 
      с 9-00 до 19-00 по Киевскому времени 
       
       
      Суббота и Воскресенье
      - выходные дни!
       
      Акция: напишите отзыв - получите модуль в подарок
       
      Лицензионные условия.
       
       
      Пожалуйста, внимательно читайте то, что написано на странице каждого модуля в инструкции 
      по установке и обновлениям:
       
      Нельзя устанавливать модуль не имея лицензии!
       
      1. Лицензия вместе с файлами отправляется автоматически, сразу после оплаты! Во избежание проволочек с выдачей лицензии
      обязательно заполняйте поля: домен, версии php и OpenCart
       
      2. Распакуйте и загрузите ключ в корень сайта, рядом с robots.txt
       
      3. Распакуйте архив с модулем и загрузите содержимое папки upload на сайт
       
      4. Установите модуль посредством меню Дополнения / Модули
       
      5. Установите права на просмотр модуля нужным пользователям
       
      6. Зайдите в настройки модуля, укажите нужные параметры и сохраните настройки.
       
      ВАЖНО! Если вы видите сообщение о том, что файл лицензии не найден, не переходите к этапу #7.
      В таком случае напишите нам на info@neoseo.com.ua, мы поможем выявить причину не активации лицензии. Если вы убедились в том, что модуль видит лицензию, вы можете переходить к следующему пункту.
       
      7. Обновите модификаторы (Дополнения / Модификаторы)
       
      Общий порядок обновления модулей:
       
      Советы:
       
       
       
      Как предоставляется информационная поддержка? Как решить свой вопрос максимально оперативно?
       
      Важно. Условия бесплатной и платной
      информационной и технической поддержки.
       
       
      Очень часто спрашивают:
       
       
      Преимущества модулей от NeoSeo:
       
       
      Посмотреть работу модуля вы сможете тут:
      https://demo.neoseo.com.ua/admin
      логин: admin
      пароль: admin
       
      Нажмите здесь http://prntscr.com/j1n8xn, чтобы быть в курсе всех обновлений.
       
      Уважаемые покупатели, скажите, что может быть лучше для развития модуля, чем публичные обсуждения и отзывы?
      Мы уверены это хороший стимул предоставлять услуги еще лучше ).
       
      Пожалуйста, все вопросы для обсуждения пишите здесь:
       
       
      Также, очень рекомендуем Вам, купить и другие наши продукты, которые пригодятся в абсолютно любом магазине.
       
      Спасибо, что вы с нами, всегда рады помочь развитию вашего онлайн-бизнеса!
      Веб-студия NeoSeo - полноценная Команда, решаем любые вопросы оперативно и качественно.
       
      ФУНКЦИОНАЛ НАЗВАНИЕ И ОПИСАНИЕ ССЫЛКИ ИНСТРУМЕНТЫ для
      SEO ПРОДВИЖЕНИЯ:
        1. SEO-Фильтр. Кроме того, что этот модуль предназначен для создания  фильтров, он позволяет создавать сотни или даже тысячи специальных посадочных страниц, чтобы получать из поисковой выдачи средне и низко-частотный трафик бесплатно      2. Генератор robots.txt, без которого поисковые роботы проиндексируют ненужные страницы и понизят вам релевантность  
       
          3. Отслеживание битых ссылок, чтобы не терять трафик впустую      4. Модуль создания редиректов, который позволяют починить битые ссылки     5. Источник заказа, чтобы отслеживать эффективность рекламных кампаний   ПОВЫШЕНИЕ ПРОДАЖ:   1. Выгрузка товаров на Prom.ua, Ava.ua, Hotline, Facebook.com, Яндекс.Маркет, Nadavi.net, Price.ua, Torg.mail.ru и др. прайс-агрегаторы, Модуль для Opencart от веб-студии NeoSeo, который позволяет выгрузить данные для прайс агрегаторов  
        ОБРАБОТКА ТОВАРОВ:   1. Водяной знак, который позволяет автоматически наложить изображение водяного знака на все ваши товары  
       
    • By neoseo
      313.00 руб
      Скачать/Купить дополнение


      Генератор robots.txt, Модуль для Opencart - веб-студия NeoSeo
      Зачем нужен файл robots.txt в Интернет-магазине на OpenCart?   Первый, ну или второй шаг по поисковому продвижению сайта (SEO) - это создание файла robots.txt.  
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Обращаем внимание:
       
      1. Все обновления к купленным модулям - бесплатно и навсегда.
      2. Техническая поддержка и оперативные ответы на вопросы - бесплатно и навсегда.
      3. NEW! Помощь в установке и устранении ошибок при установке модулей - бесплатно и навсегда, но в порядке общей очереди.
      4. NEW! Оперативный удаленный помощник по TeamViewer по специальному тарифу, 15 мин. - 369 руб. для тех, кому нужно уже, не дожидаясь бесплатной поддержки, которая предоставляется в порядке общей очереди.
      5. NEW! Все полезные доработки модулей, мы выполним по спец. тарифу, за 50% стоимости. За деталями пишите на info@neoseo.com.ua
       
      Обращаем внимание,  что с 01.08.2019 года техническая поддержка осуществляется исключительно через обращение на почту  info@neoseo.com.ua  Если у Вас есть вопросы информационного характера, пожалуйста, напишите в ЛС или позвоните нам:
      Россия, все звонки бесплатно
      8 800 551 94 15
        Украина: +380 67 67 07 647 +380 63 71 70 763
      +380 50 34 58 565
       
       
      МЫ РАБОТАЕМ:
      Понедельник-пятница 
      с 9-00 до 19-00 по Киевскому времени 
       
       
      Суббота и Воскресенье
      - выходные дни!
       
      Акция: напишите отзыв - получите модуль в подарок
       
      Лицензионные условия.
       
       
      Пожалуйста, внимательно читайте то, что написано на странице каждого модуля в инструкции 
      по установке и обновлениям:
       
      Нельзя устанавливать модуль не имея лицензии!
       
      1. Лицензия вместе с файлами отправляется автоматически, сразу после оплаты! Во избежание проволочек с выдачей лицензии
      обязательно заполняйте поля: домен, версии php и OpenCart
       
      2. Распакуйте и загрузите ключ в корень сайта, рядом с robots.txt
       
      3. Распакуйте архив с модулем и загрузите содержимое папки upload на сайт
       
      4. Установите модуль посредством меню Дополнения / Модули
       
      5. Установите права на просмотр модуля нужным пользователям
       
      6. Зайдите в настройки модуля, укажите нужные параметры и сохраните настройки.
       
      ВАЖНО! Если вы видите сообщение о том, что файл лицензии не найден, не переходите к этапу #7.
      В таком случае напишите нам на info@neoseo.com.ua, мы поможем выявить причину не активации лицензии. Если вы убедились в том, что модуль видит лицензию, вы можете переходить к следующему пункту.
       
      7. Обновите модификаторы (Дополнения / Модификаторы)
       
      Общий порядок обновления модулей:
       
      Советы:
       
       
       
      Как предоставляется информационная поддержка? Как решить свой вопрос максимально оперативно?
       
      Важно. Условия бесплатной и платной
      информационной и технической поддержки.
       
       
      Очень часто спрашивают:
       
       
      Преимущества модулей от NeoSeo:
       
       
      Посмотреть работу модуля вы сможете тут:
      https://demo.neoseo.com.ua/admin
      логин: admin
      пароль: admin
       
      Нажмите здесь http://prntscr.com/j1n8xn, чтобы быть в курсе всех обновлений.
       
      Уважаемые покупатели, скажите, что может быть лучше для развития модуля, чем публичные обсуждения и отзывы?
      Мы уверены это хороший стимул предоставлять услуги еще лучше ).
       
      Пожалуйста, все вопросы для обсуждения пишите здесь:
       
       
      Также, очень рекомендуем Вам, купить и другие наши продукты, которые пригодятся в абсолютно любом магазине.
       
      Спасибо, что вы с нами, всегда рады помочь развитию вашего онлайн-бизнеса!
      Веб-студия NeoSeo - полноценная Команда, решаем любые вопросы оперативно и качественно.
       
      ФУНКЦИОНАЛ НАЗВАНИЕ И ОПИСАНИЕ ССЫЛКИ ИНСТРУМЕНТЫ для
      SEO ПРОДВИЖЕНИЯ:
        1. SEO-Фильтр. Кроме того, что этот модуль предназначен для создания  фильтров, он позволяет создавать сотни или даже тысячи специальных посадочных страниц, чтобы получать из поисковой выдачи средне и низко-частотный трафик бесплатно      2. Генератор robots.txt, без которого поисковые роботы проиндексируют ненужные страницы и понизят вам релевантность  
       
          3. Отслеживание битых ссылок, чтобы не терять трафик впустую      4. Модуль создания редиректов, который позволяют починить битые ссылки     5. Источник заказа, чтобы отслеживать эффективность рекламных кампаний   ПОВЫШЕНИЕ ПРОДАЖ:   1. Выгрузка товаров на Prom.ua, Ava.ua, Hotline, Facebook.com, Яндекс.Маркет, Nadavi.net, Price.ua, Torg.mail.ru и др. прайс-агрегаторы, Модуль для Opencart от веб-студии NeoSeo, который позволяет выгрузить данные для прайс агрегаторов  
        ОБРАБОТКА ТОВАРОВ:   1. Водяной знак, который позволяет автоматически наложить изображение водяного знака на все ваши товары  
       
      Добавил neoseo Добавлено 24.06.2015 Категория SEO, карта сайта, оптимизация Системные требования PHP 5.3 - 7.1 Ioncube Loader 6 и выше Сайт разработчика https://neoseo.com.ua Старая цена Метод активации Автоматическая активация
      Через официальный сайт дополнения Ioncube Loader Требуется OpenCart 2.3
      2.2
      2.1
      2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.5.1
      1.5.5
      1.5.4.1
      1.5.3.1 ocStore 2.3
      2.2
      2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Не проверялось Обращение к серверу разработчика Нет  
    • By Vasyasever
      Добрый день! Ребят, столкнулись с такой проблемой, что в сеч консоли не индексируются страницы товаров и еще часть страниц сайта, по подсказке в сеч консоли пишет, что индексация заблокирована в файле Robots.txt.
      1.Не могу понять ,что закрыто или что не дописали, (есть подозрение , что его составляли от фонаря) 
      файл выглядит так : 
       
      User-agent: *
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Disallow: /*?tracking=
      Disallow: /*&tracking=
      User-agent: Yandex
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Clean-param: tracking
      Host: https://bogema2002.com.ua/ 
       
    • By kamaro1990
      Кто как считает, какие страницы следует скрывать от ПС в robots.txt? На некоторых сайтах скрыто чуть ли не половина сайта (и корзина, и восстановление логина, и рега и т.д.). 
    • By Gixoc
      Редактор Robot.txt - модуль для редактирования robots.txt прямо из админки. Может кому понадобится)
       
      Если файла нет (как на оригинальном opencart'е к примеру), он его создаст. Устанавливается в модули, vQmod'а не требует, никакие файлы не перезаписывает.
       
      Распространяется — «как есть» (as is).
      Версия Opencart — 1.5, 2.1, 2.2, 2.3, 3.0.
      Установка — стандартная через Установку дополнений (через встроенный Ocmod). Для версии Opencart 1.5 — просто загрузите содержимое upload из архива 1.5.x.gixoc.editrobots.zip в корень сайта.
       
      Добавлена версия для OpenCart 3 (спасибо Nymphetamine за адаптацию)
       
      01.02.2019
      Теперь при нажатии на "Создать" ссылки генерируются с учетом ЧПУ Opencart, т.е. создаются действительные ссылки
       
      28.09.2018
      Добавил возможность создания не только самого файла robots.txt (если он не существует), но и его содержимое. 
      Теперь при нажатии на "Создать" - поле заполняется данными из файла robots.txt сборки ocStore соответствующей версии.
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.