Рекомендуемые сообщения

teofast1    0

Добрый день, форумчане.

 

Думаю над robots.txt. Выкурил уже весь форум, но решения как такового нет. Для того чтобы избавиться от дублей планирую закрыть категории товаров с надеждой на то, что будут индексироваться товары по прямым ссылкам.

Посмотрите мой robots.txt, пожалуйста, всё ли так делаю.

User-agent: *
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh


User-agent: Yandex
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh

Host: www.rusgifts.com

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Похожий контент

    • От alexsoftdev

      999.00 руб
      Скачать/Купить дополнение


      Модуль для Opencart - NeoSeo Генератор robots.txt
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.neoseo.com.ua/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@neoseo.com.ua, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните Добавил alexsoftdev Добавлено 24.06.2015 Категория SEO, карта сайта, оптимизация Системные требования PHP 5.3+ Сайт разработчика https://neoseo.com.ua Старая цена Метод активации Автоматическая активация Ioncube Loader Требуется OpenCart 2.0
      1.5.6.4
      1.5.6.3
      1.5.6.2
      1.5.6.1
      1.5.6
      1.5.4.1
      1.5.3.1 ocStore 2.1
      1.5.5.1.2
      1.5.5.1.1
      1.5.5.1
      1.5.4.1.2
      1.5.4.1.1
      1.5.4.1
      1.5.3.1
      1.5.2.1
      1.5.1.3 OpenCart.Pro, ocShop Не проверялось  
    • От alexsoftdev
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.neoseo.com.ua/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@neoseo.com.ua, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните
    • От hegst
      Извините за дикость! Только начинаю разбираться в данном вопросе.
      Но может подскажите, что делать с этой ошибкой? Гоша ругается на роботс а именно на строку Clean-param: tracking,
      Вопрос? как исправить или просто не обращать внимания, все таки директива для Яндекса.
       

    • От icesky444
      Помогите пожалуйста разобраться.
      На сайте не с того не с сего начал sitemap.xml дублировать каждую страницу!
      Как исправить данную ошибку? куда копать?
      Сайт ugtehagro.net/sitemap.xml
    • От Stalk15
      Здравствуйте! Делаю сайт: fotka54.ru
      Если зайти на страницу товаров и выбрать сортировку: http://fotka54.ru/pechat-na-kruzhkah/
      то адрес страницы в адресной строке не меняется, а если выбрать сортировку, зайдя с телефона, то адрес примет такой вид: http://fotka54.ru/pechat-na-kruzhkah/?sort=pd.name&order=DESC
       
      Такая же проблема, если выбрать отображение товаров мозайкой или списком: http://fotka54.ru/pechat-na-kruzhkah/?setListingType=list
       
      Данная страница (http://fotka54.ru/pechat-na-kruzhkah/) у меня несколько месяцев была  в топе, а после того, как яндекс в один прекрасный момент проиндексировал вот эти ссылки:
      http://fotka54.ru/pechat-na-kruzhkah/?setListingType=list и http://fotka54.ru/pechat-na-kruzhkah/?setListingType=grid
       
      Основная страница сразу же упала вобще на 50 позицию. Видимо, яндекс посчитал, что это дубли и понизил в выдаче. Пока что запретил эти страницы в роботс. 
      Кто нибудь в курсе, почему с телефона урл меняется, а с компьютера нет? И как сделать, чтоб с телефона урл не менялся? Или проще на этих страницах указать атрибут canonical на основную страницу и не париться? 
       
       
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу