Рекомендуемые сообщения

teofast1    0

Добрый день, форумчане.

 

Думаю над robots.txt. Выкурил уже весь форум, но решения как такового нет. Для того чтобы избавиться от дублей планирую закрыть категории товаров с надеждой на то, что будут индексироваться товары по прямым ссылкам.

Посмотрите мой robots.txt, пожалуйста, всё ли так делаю.

User-agent: *
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh


User-agent: Yandex
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /index.php?route=account/*
Disallow: /index.php?route=checkout/*
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/*
Disallow: /*route=checkout/*
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?*
Disallow: /*&*
Disallow: /matreshki
Disallow: /matreshki/semenovskaya
Disallow: /matreshki/tradicionnye
Disallow: /matreshki/avtorskaya
Disallow: /matreshki/neobychnye
Disallow: /matreshki/futlyary-matreshki
Disallow: /beresta
Disallow: /beresta/posuda
Disallow: /beresta/nabory-dlya-speciy
Disallow: /beresta/salfetnicy
Disallow: /hohloma
Disallow: /hohloma/nabory-predmetov
Disallow: /hohloma/doski
Disallow: /shkatulki
Disallow: /shkatulki/mstyora
Disallow: /shkatulki/paleh

Host: www.rusgifts.com

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Похожий контент

    • От alexsoftdev


      Просмотр файла Модуль для Opencart - NeoSeo Генератор robots.txt
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.neoseo.com.ua/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@neoseo.com.ua, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните Добавил alexsoftdev Добавлено 24.06.2015 Категория Прочее Системные требования PHP 5.3+ Метод активации Автоматическая активация Ioncube Loader Требуется OpenCart ocStore OpenCart.Pro, ocShop  
    • От Stalk15
      Здравствуйте! Делаю сайт: fotka54.ru
      Если зайти на страницу товаров и выбрать сортировку: http://fotka54.ru/pechat-na-kruzhkah/
      то адрес страницы в адресной строке не меняется, а если выбрать сортировку, зайдя с телефона, то адрес примет такой вид: http://fotka54.ru/pechat-na-kruzhkah/?sort=pd.name&order=DESC
       
      Такая же проблема, если выбрать отображение товаров мозайкой или списком: http://fotka54.ru/pechat-na-kruzhkah/?setListingType=list
       
      Данная страница (http://fotka54.ru/pechat-na-kruzhkah/) у меня несколько месяцев была  в топе, а после того, как яндекс в один прекрасный момент проиндексировал вот эти ссылки:
      http://fotka54.ru/pechat-na-kruzhkah/?setListingType=list и http://fotka54.ru/pechat-na-kruzhkah/?setListingType=grid
       
      Основная страница сразу же упала вобще на 50 позицию. Видимо, яндекс посчитал, что это дубли и понизил в выдаче. Пока что запретил эти страницы в роботс. 
      Кто нибудь в курсе, почему с телефона урл меняется, а с компьютера нет? И как сделать, чтоб с телефона урл не менялся? Или проще на этих страницах указать атрибут canonical на основную страницу и не париться? 
       
       
    • От icesky444
      Появились дубли страниц, не знаю почему они берутся ?
      Сайт : ugtehagro.net
      /frontalnyj-pogruzchik/
      /frontalnyj-pogruzchik/?sort=p.model&order=ASC&limit=50
      /frontalnyj-pogruzchik/?sort=rating&order=DESC&limit=25

      Ставлю /*?sort=
      Не какого толку от этого нет не знаю как бороться, выявил что данные дубли появляется на стр,На странице: и Сортировка:
      robots-ugtehgagro.txt
    • От Chepurnov12
      Всем привет!
      Столкнулся с такой проблемой. 
      Сделал магазин, наполнил товарами, поставил модуль "с этим товаром посмотрите также"
      Вебмастер начал ругаться на дубли 
      и начала происходить неведомая Х...
       
      стали появлятся такие страниц 
      Сайт/Категория/Товар
      Сайт/Товар
      Соответственно яндекс их считал как дубли. Почитал форум, пришел к решению надо оказывается установить сео про для урлов, поставил, в настройках выбрал отображать урлы с категориями.
      Теперь сайт/товар отредиректил (302) на сайт/категория/товар
      и показалось мне что проблема вроде как решена. Однако захожу сегодня в вебмастер и он с**а опять жалуется на дубли 
      Что нужно сделать?
      Помогите)))
       
    • От alexsoftdev
      Выдача лицензии на Модуль для Opencart - NeoSeo Генератор robots.txt происходит автоматически. При оформлении заказа, обязательно укажите доменное имя вашего сайта.
       
      Первый, ну или второй шаг по продвижению сайта это создание файла robots.txt.
      Файл robots.txt является руководством по индексированию сайта для роботов и нужен для того, чтобы роботы понимали какие страницы можно сканировать, а какие - нельзя.
      Все это хорошо, скажете вы, но нужен ли модуль для формирования robots.txt, если есть куча готовых примеров. Да, нужен, и вот почему. Берем одну из строчек шаблона готового примера:
      Disallow: /*route=account/   Это означает что робот не должен сканировать разделы сайта, относящиеся к личному кабинету. Все хорошо? Нет! Наверняка у вас стоит менеджер ЧПУ для технических разделов сайта и тогда авторизация в личном кабинете выглядит вот так:
      /login   А это означает что вышеописанное правило уже не подходит для этой ссылки. Что же делать? Вам нужно выяснить какие ссылки соответствуют каждому техническому разделу сайта и вписать их вместо общих, но уже бесполезных конструкций.
      Соответственно вместо этого:
      Disallow: /*route=account/   У вас должно быть, скоре всего, вот так:
      Disallow:/accountDisallow:/registerDisallow:/loginDisallow:/logoutDisallow:/lost-passwordDisallow:/edit-accountDisallow:/addressesDisallow:/vouchersDisallow:/reward-pointsDisallow:/wishlistDisallow:/newsletterDisallow:/ordersDisallow:/transactionsDisallow:/returnsDisallow:/request-returnDisallow:/downloads   Вы не хотите ручками проверять каждую из 30-ти технических ссылок и вписывать их в файл по 2 раза каждую? Покупайте наш модуль и избавьте себя от головной боли!
       
      Посмотреть работу модуля вы сможете тут:
      https://shop.neoseo.com.ua/admin/
      логин: admin
      пароль: admin
       
      Лицензия:
      на ОДИН домен. Не на сайт, не на человека, не на студию. У вас несколько доменов подключены к одному сайту - значит вам нужно несколько лицензий. на использование ( допускается установка клиентам при покупке лицензий под них ), но не на перепродажу. Модули от NeoSeo это:
      Безупречное качество Дружественный интерфейс Богатая функциональность Высокое быстродействие Оперативная поддержка Установка для опенкарт 2.х ( для младших версий читать readme.ru.txt ):
      Запросите ключ лицензии по email license@neoseo.com.ua, указав ник, номер счета и название сайта где вы купили модуль. Также укажите домен сайта на который нужно активировать лицензию. Распакуйте архив с файлом лицензии и положите файл лицензии в корень сайта, рядом с robots.txt. Если у вас правильно настроен и подключен ftp, то вы можете Установить архив целиком через Дополнения \ Установка расширений.
      Если это не так, то тогда
      4.1. Распаковываете и закидываете содержимое upload на сайт, делается как обычно на 1.5.Х
      4.2. В архиве есть файл install.xml, его переименовываете в install.ocmod.xml и загружаете через Дополнения \ Установка расширений Идете в дополнения \ Модификаторы и жмете "Обновить". Установите модуль посредством меню Дополнения \ Модули Установите права на просмотр модуля нужным пользователям Зайдите в Настройки \ Генератор robots.txt и нажмите кнопку Сгенерировать и затем кнопку Сохранить.  
      Обновление:
      Загрузите содержимое папки upload в корень сайта. Зайдите в настройки модуля и заново их сохраните
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу