Рекомендуемые сообщения

teofast1    0

Добрый день, форумчане.

 

Думаю над robots.txt. Выкурил уже весь форум, но решения как такового нет. Для того чтобы избавиться от дублей планирую закрыть категории товаров с надеждой на то, что будут индексироваться товары по прямым ссылкам.

Посмотрите мой robots.txt, пожалуйста, всё ли так делаю.

User-agent: *
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh


User-agent: Yandex
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh

Host: www.rusgifts.com

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Похожий контент

    • От spectr
      Приветствую всех.
      Еще раз всех поблагодарю, уже не раз меня выручали люди на форуме, на всей стадии моего проекта с 0,знаний было столько же - полный 0, не то что в програмировании в ворде не знал как работать, но с вашей помощью сделал более менее проект.
      Собственно к проблеме.
      1)Сначала использовал гугловский сайтмап, но он выдавал 624 ошибки с тэгом img, как я понял криминала нету ,то что Яша не умеет читать тэги, но я решил доработать и поставил яндекс сайт мап.
      2)И у меня не радуют теперь ошибки выдаваемые в роботс.тхт
      Вопрос как вылечить и робот.тхт от этих ошибок?Неужели просто удалить две строчки хмл?и как это скажется?
      Фото прилагаю ниже
       
       
      Сайт lockerstore.ru
       
      В .htacess 
      RewriteEngine On
      RewriteCond %{HTTP_HOST} ^www.lockerstore.ru$ [NC]
      RewriteRule ^(.*)$ https://lockerstore.ru/$1 [R=301,L]
      RewriteBase /
      RewriteRule ^sitemap.xml$ index.php?route=extension/feed/google_sitemap [L]
      RewriteRule ^googlebase.xml$ index.php?route=extension/feed/google_base [L]
      RewriteRule ^yandex.xml$ index.php?route=feed/yandex_sitemap [L]
      RewriteRule ^system/download/(.*) index.php?route=error/not_found [L]
      RewriteCond %{REQUEST_FILENAME} !-f
      RewriteCond %{REQUEST_FILENAME} !-d
      RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
      RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
      RewriteEngine On
      RewriteCond %{HTTPS} off
      RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
      <IfModule mod_expires.c>
       
      Робот.тхт
      User-agent: *
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Disallow: /*?tracking=
      Disallow: /*&tracking=
      host: https://lockerstore.ru
      Sitemap: https://lockerstore.ru/sitemap.xml
      Sitemap: https://lockerstore.ru/yandex.xml
      User-agent: Yandex
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Спасибо за внимание.

    • От alexsoftdev

      999.00 руб
      Скачать/Купить дополнение


      Модуль для Opencart - NeoSeo Генератор robots.txt
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.***/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@***, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните  
      Преимущества модулей от NeoSeo:

      1-ое преимущество

      - только практика, только проверенные и продуманные решения для рынка СНГ. Каждый наш продукт, будь-то Интернет-магазин в целом или отдельное решение (любой из написанных нами модулей) - это произведение многолетнего опыта разработки, которое постоянно дорабатывается по отзывам с рынка.


      2-ое преимущество

      - мы разрабатываем и внедряем наши продукты комплексно: дизайн, верстка, программирование, интернет-маркетинг. Полный цикл работ для получения результата: генерирование магазином продаж и создание вашей прибыли. Работая с нами вы не окажетесь в ситуации, где программисты не понимают, что от них требуют эти "надоедливые сеошники" и наоборот.

      3-ье преимущество

      - мы делаем и у вас всё работает. Если нужно что-то доработать, изменить или ещё кое-что улучшить - без проблем. Мы готовы сделать по вашему желанию всё, всё, что угодно. Сотрудничая с нашей студией, вы вправе рассчитывать на то, что благодаря нашему огромному опыту, вы получите в результате не только грамотную консультацию, но и лучшее программное решение на рынке.
      Добавил alexsoftdev Добавлено 24.06.2015 Категория SEO, карта сайта, оптимизация Системные требования PHP 5.3+ Сайт разработчика https://neoseo.com.ua Старая цена Метод активации Автоматическая активация Ioncube Loader Требуется OpenCart 2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.4.1
      1.5.3.1 ocStore 2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Не проверялось  
    • От alexsoftdev
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.***/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@***, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните  
      Преимущества модулей от NeoSeo:

      1-ое преимущество

      - только практика, только проверенные и продуманные решения для рынка СНГ. Каждый наш продукт, будь-то Интернет-магазин в целом или отдельное решение (любой из написанных нами модулей) - это произведение многолетнего опыта разработки, которое постоянно дорабатывается по отзывам с рынка.


      2-ое преимущество

      - мы разрабатываем и внедряем наши продукты комплексно: дизайн, верстка, программирование, интернет-маркетинг. Полный цикл работ для получения результата: генерирование магазином продаж и создание вашей прибыли. Работая с нами вы не окажетесь в ситуации, где программисты не понимают, что от них требуют эти "надоедливые сеошники" и наоборот.

      3-ье преимущество

      - мы делаем и у вас всё работает. Если нужно что-то доработать, изменить или ещё кое-что улучшить - без проблем. Мы готовы сделать по вашему желанию всё, всё, что угодно. Сотрудничая с нашей студией, вы вправе рассчитывать на то, что благодаря нашему огромному опыту, вы получите в результате не только грамотную консультацию, но и лучшее программное решение на рынке.
    • От hegst
      Извините за дикость! Только начинаю разбираться в данном вопросе.
      Но может подскажите, что делать с этой ошибкой? Гоша ругается на роботс а именно на строку Clean-param: tracking,
      Вопрос? как исправить или просто не обращать внимания, все таки директива для Яндекса.
       

    • От icesky444
      Помогите пожалуйста разобраться.
      На сайте не с того не с сего начал sitemap.xml дублировать каждую страницу!
      Как исправить данную ошибку? куда копать?
      Сайт ugtehagro.net/sitemap.xml
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу