Рекомендуемые сообщения

Boris1208    0

Много читали про robots txt

 в итоге у нас содержимое файла выглядит следующим образом

ВОПРОС ВОТ В ЧЕМ: у нас интернет-магазин, нужно, чтобы индексировались страницы с товаром, производителями, в общем весь товар...правильный ли у нас для этого файл??????????????посмотрите пожалуйста.......

 

 

 

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*?page=

Disallow: /*&page=

Disallow: /wishlist

Disallow: /login

Disallow: /index.php?route=product/manufacturer

Disallow: /index.php?route=product/compare

Disallow: /index.php?route=product/category

 

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*route=product/search

Disallow: /*?page=

Disallow: /*&page=

Clean-param: tracking

Clean-param: filter_name

Clean-param: filter_sub_category

Clean-param: filter_description

Disallow: /wishlist

Disallow: /login

Disallow: /index.php?route=product/manufacturer

Disallow: /index.php?route=product/compare

Disallow: /index.php?route=product/category

Host: www.chelovechek-baby.ru

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
pyramida    1

Boris1208, в инструментах у гугла и яндекса можно проверить на доступность для бота любые страницы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гость
Эта тема закрыта для публикации ответов.

  • Похожий контент

    • От spectr
      Приветствую всех.
      Еще раз всех поблагодарю, уже не раз меня выручали люди на форуме, на всей стадии моего проекта с 0,знаний было столько же - полный 0, не то что в програмировании в ворде не знал как работать, но с вашей помощью сделал более менее проект.
      Собственно к проблеме.
      1)Сначала использовал гугловский сайтмап, но он выдавал 624 ошибки с тэгом img, как я понял криминала нету ,то что Яша не умеет читать тэги, но я решил доработать и поставил яндекс сайт мап.
      2)И у меня не радуют теперь ошибки выдаваемые в роботс.тхт
      Вопрос как вылечить и робот.тхт от этих ошибок?Неужели просто удалить две строчки хмл?и как это скажется?
      Фото прилагаю ниже
       
       
      Сайт lockerstore.ru
       
      В .htacess 
      RewriteEngine On
      RewriteCond %{HTTP_HOST} ^www.lockerstore.ru$ [NC]
      RewriteRule ^(.*)$ https://lockerstore.ru/$1 [R=301,L]
      RewriteBase /
      RewriteRule ^sitemap.xml$ index.php?route=extension/feed/google_sitemap [L]
      RewriteRule ^googlebase.xml$ index.php?route=extension/feed/google_base [L]
      RewriteRule ^yandex.xml$ index.php?route=feed/yandex_sitemap [L]
      RewriteRule ^system/download/(.*) index.php?route=error/not_found [L]
      RewriteCond %{REQUEST_FILENAME} !-f
      RewriteCond %{REQUEST_FILENAME} !-d
      RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
      RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
      RewriteEngine On
      RewriteCond %{HTTPS} off
      RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
      <IfModule mod_expires.c>
       
      Робот.тхт
      User-agent: *
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Disallow: /*&filter=
      Disallow: /*?filter_name=
      Disallow: /*&filter_name=
      Disallow: /*?filter_sub_category=
      Disallow: /*&filter_sub_category=
      Disallow: /*?filter_description=
      Disallow: /*&filter_description=
      Disallow: /*?tracking=
      Disallow: /*&tracking=
      host: https://lockerstore.ru
      Sitemap: https://lockerstore.ru/sitemap.xml
      Sitemap: https://lockerstore.ru/yandex.xml
      User-agent: Yandex
      Disallow: /*route=account/
      Disallow: /*route=affiliate/
      Disallow: /*route=checkout/
      Disallow: /*route=product/search
      Disallow: /index.php?route=product/product*&manufacturer_id=
      Disallow: /admin
      Disallow: /catalog
      Disallow: /system
      Disallow: /*?sort=
      Disallow: /*&sort=
      Disallow: /*?order=
      Disallow: /*&order=
      Disallow: /*?limit=
      Disallow: /*&limit=
      Disallow: /*?filter=
      Спасибо за внимание.

    • От alexsoftdev

      999.00 руб
      Скачать/Купить дополнение


      Модуль для Opencart - NeoSeo Генератор robots.txt
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.***/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@***, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните  
      Преимущества модулей от NeoSeo:

      1-ое преимущество

      - только практика, только проверенные и продуманные решения для рынка СНГ. Каждый наш продукт, будь-то Интернет-магазин в целом или отдельное решение (любой из написанных нами модулей) - это произведение многолетнего опыта разработки, которое постоянно дорабатывается по отзывам с рынка.


      2-ое преимущество

      - мы разрабатываем и внедряем наши продукты комплексно: дизайн, верстка, программирование, интернет-маркетинг. Полный цикл работ для получения результата: генерирование магазином продаж и создание вашей прибыли. Работая с нами вы не окажетесь в ситуации, где программисты не понимают, что от них требуют эти "надоедливые сеошники" и наоборот.

      3-ье преимущество

      - мы делаем и у вас всё работает. Если нужно что-то доработать, изменить или ещё кое-что улучшить - без проблем. Мы готовы сделать по вашему желанию всё, всё, что угодно. Сотрудничая с нашей студией, вы вправе рассчитывать на то, что благодаря нашему огромному опыту, вы получите в результате не только грамотную консультацию, но и лучшее программное решение на рынке.
      Добавил alexsoftdev Добавлено 24.06.2015 Категория SEO, карта сайта, оптимизация Системные требования PHP 5.3+ Сайт разработчика https://neoseo.com.ua Старая цена Метод активации Автоматическая активация Ioncube Loader Требуется OpenCart 2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.4.1
      1.5.3.1 ocStore 2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Не проверялось  
    • От alexsoftdev
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.***/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@***, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните  
      Преимущества модулей от NeoSeo:

      1-ое преимущество

      - только практика, только проверенные и продуманные решения для рынка СНГ. Каждый наш продукт, будь-то Интернет-магазин в целом или отдельное решение (любой из написанных нами модулей) - это произведение многолетнего опыта разработки, которое постоянно дорабатывается по отзывам с рынка.


      2-ое преимущество

      - мы разрабатываем и внедряем наши продукты комплексно: дизайн, верстка, программирование, интернет-маркетинг. Полный цикл работ для получения результата: генерирование магазином продаж и создание вашей прибыли. Работая с нами вы не окажетесь в ситуации, где программисты не понимают, что от них требуют эти "надоедливые сеошники" и наоборот.

      3-ье преимущество

      - мы делаем и у вас всё работает. Если нужно что-то доработать, изменить или ещё кое-что улучшить - без проблем. Мы готовы сделать по вашему желанию всё, всё, что угодно. Сотрудничая с нашей студией, вы вправе рассчитывать на то, что благодаря нашему огромному опыту, вы получите в результате не только грамотную консультацию, но и лучшее программное решение на рынке.
    • От hegst
      Извините за дикость! Только начинаю разбираться в данном вопросе.
      Но может подскажите, что делать с этой ошибкой? Гоша ругается на роботс а именно на строку Clean-param: tracking,
      Вопрос? как исправить или просто не обращать внимания, все таки директива для Яндекса.
       

    • От themummy
      Подскажите пожалуйста.Начал долго грузиться сайт stroymarket-online.com.ua . Не могу понять в чем дело.В поддержке хоста сказали: 
      - Ваш сайт очень интенсивно индексирует бот яндекса. Если это не прекратится в течении суток - ограничьте его работу через robots.txt.
      Что здесь исправить?
      User-agent: * Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Disallow: /*?tracking= Disallow: /*&tracking= User-agent: Yandex Disallow: /*route=account/ Disallow: /*route=affiliate/ Disallow: /*route=checkout/ Disallow: /*route=product/search Disallow: /index.php?route=product/product*&manufacturer_id= Disallow: /admin Disallow: /catalog Disallow: /download Disallow: /system Disallow: /*?sort= Disallow: /*&sort= Disallow: /*?order= Disallow: /*&order= Disallow: /*?limit= Disallow: /*&limit= Disallow: /*?filter_name= Disallow: /*&filter_name= Disallow: /*?filter_sub_category= Disallow: /*&filter_sub_category= Disallow: /*?filter_description= Disallow: /*&filter_description= Clean-param: tracking      
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу