Рекомендуемые сообщения

teofast1    0

Добрый день, форумчане.

 

Думаю над robots.txt. Выкурил уже весь форум, но решения как такового нет. Для того чтобы избавиться от дублей планирую закрыть категории товаров с надеждой на то, что будут индексироваться товары по прямым ссылкам.

Посмотрите мой robots.txt, пожалуйста, всё ли так делаю.

User-agent: *
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh


User-agent: Yandex
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh

Host: www.rusgifts.com

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Похожий контент

    • От alexsoftdev

      1 799.00 руб · Срок продления: 299.00 руб за 180 дней
      Скачать/Купить дополнение


      Модуль для Opencart - NeoSeo Генератор robots.txt
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.***/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@***, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните  
      Пробуйте бесплатно!
      Напишите на почту: license@ neoseo. com. ua (без пробелов), и мы выдадим вам тестовую лицензию на 14 дней!
       
      Преимущества модулей от NeoSeo:

      1-ое преимущество

      - только практика, только проверенные и продуманные решения для рынка СНГ. Каждый наш продукт, будь-то Интернет-магазин в целом или отдельное решение (любой из написанных нами модулей) - это произведение многолетнего опыта разработки, которое постоянно дорабатывается по отзывам с рынка.


      2-ое преимущество

      - мы разрабатываем и внедряем наши продукты комплексно: дизайн, верстка, программирование, интернет-маркетинг. Полный цикл работ для получения результата: генерирование магазином продаж и создание вашей прибыли. Работая с нами вы не окажетесь в ситуации, где программисты не понимают, что от них требуют эти "надоедливые сеошники" и наоборот.

      3-ье преимущество

      - мы делаем и у вас всё работает. Если нужно что-то доработать, изменить или ещё кое-что улучшить - без проблем. Мы готовы сделать по вашему желанию всё, всё, что угодно. Сотрудничая с нашей студией, вы вправе рассчитывать на то, что благодаря нашему огромному опыту, вы получите в результате не только грамотную консультацию, но и лучшее программное решение на рынке.
      Добавил alexsoftdev Добавлено 24.06.2015 Категория SEO, карта сайта, оптимизация Системные требования PHP 5.3+ Сайт разработчика https://*** Старая цена Метод активации Автоматическая активация Ioncube Loader Требуется OpenCart 2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.4.1
      1.5.3.1 ocStore 2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Не проверялось  
    • От alexsoftdev
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.***/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@***, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните  
      Пробуйте бесплатно!
      Напишите на почту: license@ neoseo. com. ua (без пробелов), и мы выдадим вам тестовую лицензию на 14 дней!
       
      Преимущества модулей от NeoSeo:

      1-ое преимущество

      - только практика, только проверенные и продуманные решения для рынка СНГ. Каждый наш продукт, будь-то Интернет-магазин в целом или отдельное решение (любой из написанных нами модулей) - это произведение многолетнего опыта разработки, которое постоянно дорабатывается по отзывам с рынка.


      2-ое преимущество

      - мы разрабатываем и внедряем наши продукты комплексно: дизайн, верстка, программирование, интернет-маркетинг. Полный цикл работ для получения результата: генерирование магазином продаж и создание вашей прибыли. Работая с нами вы не окажетесь в ситуации, где программисты не понимают, что от них требуют эти "надоедливые сеошники" и наоборот.

      3-ье преимущество

      - мы делаем и у вас всё работает. Если нужно что-то доработать, изменить или ещё кое-что улучшить - без проблем. Мы готовы сделать по вашему желанию всё, всё, что угодно. Сотрудничая с нашей студией, вы вправе рассчитывать на то, что благодаря нашему огромному опыту, вы получите в результате не только грамотную консультацию, но и лучшее программное решение на рынке.
    • От magdek
      Здравствуйте подскажите пожалуйста как избежать дублирования подобных страниц, это было замечено недавно, например есть ссылка на основную категорию
      сайт_название/detskie-tovari/, а потом начинается дописывание к данному адресу
       
      сайт_название/detskie-tovari/delivery
      сайт_название/detskie-tovari/about-us
       
      И так происходит с каждой категорией в результате получается масса дублей, подскажите как можно решить данную проблему. Заранее спасибо.
       
    • От nikeforce111
      Всем привет. Подскажите пожалуйста правильно ли настроен robots.txt движок сайта ocstore 1.5.5.1.2 ??
      User-agent: Yandex User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /download Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?coolfilter= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= Disallow: /*compare-products Disallow: /*search Disallow: /*cart Disallow: /*checkout Disallow: /*login Disallow: /*logout Disallow: /*vouchers Disallow: /*wishlist Disallow: /*my-account Disallow: /*order-history Disallow: /*newsletter Disallow: /*return-add Disallow: /*forgot-password Disallow: /*downloads Disallow: /*returns Disallow: /*transactions Disallow: /*create-account Disallow: /*recurring Disallow: /*address-book Disallow: /*reward-points Disallow: /*affiliate-forgot-password Disallow: /*create-affiliate-account Disallow: /*affiliate-login Disallow: /*affiliates User-agent: Yandex Crawl-delay: 10 Host: https://**** Sitemap: https://****/sitemap.xml  
    • От Anastasia72
      Добрый день форумчане! Помогите пожалуйста.
      Вебмастер выдает ошибку "Отсутствуют теги <title> ". Захожу по ссылке "Ознакомиться с примерами..." (см. вложенный файл - скрин 3).
      Нажимаю на ссылку URL одного из примеров и попадаю на страницу сайта (см. вложенный файл - скрин 1). Данный URL некорректный. 
      Дело в том, что теги <title> есть и заполняются корректно в "админке", и такая страница уже существует с корректным URL (на конце .html). См. вложенный файл - скрин 2.
      Обе страницы с разными URL индексируются и находятся в поиске (см. вложенный файл - скрин 4). Таких задвоений на сайте несколько сотен.  
      Кроме того, есть еще второй дубль с некорректным URL. Радует лишь то, что он не находится в поиске (см. вложенный файл - скрин 5).
      Помогите, что сделать, чтобы не формировались страницы с некорректным URL.  





  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу