Перейти к содержанию
SegoMr

Помогите, пожалуйста, разобраться с robots.txt

Рекомендуемые сообщения

Запутался в зеркалах. В Яндекс-Вэбмастер у меня как главное зеркало выбран адрес сайта без префикса WWW, а в файле robots.txt Host: www.мой_сайт.ru . 

 

Не ошибся ли я, указав префикс в роботсе? Содержание файла я тупо скопировал из форума, только поставил внизу свой сайт.

 

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: www.мой_сайт.ru --------------  с префиксом или без?
Sitemap: http://мой_сайт.ru/sitemap.xml

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В Яндекс-Вэбмастер у меня как главное зеркало выбран адрес сайта без префикса WWW

 

Так же сделайте и в директиве host

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Так же сделайте и в директиве host

 

Спасибо за ответ. 

А как лучше? Сейчас я в роботсе прописал без префикса: Host: мой_сайт.ru . Потому что Яндекс сам выбрал этот адрес как главное зеркало, подумал может так лучше будет. А вообще как лучше или как должно быть? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А как лучше? Сейчас я в роботсе прописал без префикса: Host: мой_сайт.ru . Потому что Яндекс сам выбрал этот адрес как главное зеркало, подумал может так лучше будет. А вообще как лучше или как должно быть?

 

По сути, не важно как. Главное, выбрать один вариант и  никогда его не менять

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

По сути, не важно как. Главное, выбрать один вариант и  никогда его не менять

 

ОК. Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

По сути, не важно как. Главное, выбрать один вариант и  никогда его не менять

 

Помогите, пожалуйста, еще разобраться с этими строками в роботсе:

 

Disallow: /index.php?route=product/manufacturer

Disallow: /index.php?route=product/compare

Disallow: /index.php?route=product/category

 

Что они запрещают? Робот будет попадать на мои страницы с категориями и товарами?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Запрещают индексацию страниц: товаров производителей, сравнения товаров и категорий. Если на сайте работает чпу - то все нормально. Если нет, убирите Disallow: /index.php?route=product/category

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Запрещают индексацию страниц: товаров производителей, сравнения товаров и категорий. Если на сайте работает чпу - то все нормально. Если нет, убирите Disallow: /index.php?route=product/category

 

Извините, еще помучаю Вас, немного.  :-)

 

ЧПУ включен, значит оставляю как есть?

Если при включенном ЧПУ уберу эти строки, это будет как-то мешать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ЧПУ включен, значит оставляю как есть?

Если при включенном ЧПУ уберу эти строки, это будет как-то мешать?

 

В общем, убирать их не стоит

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В общем, убирать их не стоит

 

Спасибо за помощь. Удачи и Успеха во всём!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Похожий контент

    • От eduard174
      Всем доброго дня!
      Просьба поделиться опытом как настроить рекламу своего магазина на Опенкарт 3.0. Магазин создан в июле этого года и до сих пор ни одного заказа....
    • От apushkin
      Русская сборка OpenCart Version 3.0.2.0
      Есть модуль АОП и SupplerMailLink

      Нам требуется:

      1. Автоматически обновлять ассортимент товаров с их характеристиками и фотографиями из файла с сайта донора CSV-файл с описаниями товаров и ссылками на изображения (Т.е. если появился новый товар у поставщика он должен появится и у нас, если поставщик перестал продавать какие-то товары, то у нас он автоматически отключается)

      2. Обновлять цену (с нашим коэффициентом) и остатки товара из другого файла с сайта донора CSV-файл с ценами и наличием

      Задача срочная.
      Жду предложений.
      Мой WhatsApp/Telegram +79313084110
      Александр
    • От weterglass
      Доброго времени суток, опишу суть проблемы:
      Загрузил товары через DKA Export.Import без категорий. Товар на сайте находится и в него можно зайти. При определении ему категории, товар в ней появляется, но стоит нажать на товар, появляется надпись: "Запрашиваемая страница не найдена!".
      Если же создать дубль товара, а основной удалить, то проблема исчезает. Но это долго делать дубли всех товаров. Есть ли более быстрое решение проблемы? 
    • От GrindBalls
      Здравствуйте! Подскажите молодому и неопытному почему после установки SeoPro страница с категориями товаров не открывается нормально, вместо них программный код. Товары, информационные страницы, регистрация, заказ все работает правильно, если оставить стандартные настройки, то категории работают. Сайт kigurumix.ru
      Настройки:
      версия opencart 2.3
      Включить Seopro: да
      Включить с категориями: да
      Префикс: .html
      Язык шаблона английский, но переведен на русский. 
      Кэш чистил
      почистил дубли в phpMyAdmin и удалил ненужные товары которые шли с шаблоном
      урлы заполнены есть на всех товарах и категориях
      файл .htaccess в нормальном формате, текст:
      SetOutputFilter DEFLATE SetEnvIfNoCase Request_URI "\.(?:gif|jpe?g|png)$" no-gzip Header unset ETag FileETag None <FilesMatch "(?i)^.*\.(ico|flv|jpg|jpeg|png|gif|js|css)$"> Header unset Last-Modified Header set Expires "Fri, 21 Dec 2100 00:00:00 GMT" Header set Cache-Control "public, no-transform" </FilesMatch> <IfModule mod_expires.c> ExpiresActive on # Perhaps better to whitelist expires rules? Perhaps. ExpiresDefault "access plus 1 month" # cache.appcache needs re-requests in FF 3.6 (thx Remy ~Introducing HTML5) ExpiresByType text/cache-manifest "access plus 0 seconds" # Your document html ExpiresByType text/html "access plus 0 seconds" # Data ExpiresByType text/xml "access plus 0 seconds" ExpiresByType application/xml "access plus 0 seconds" ExpiresByType application/json "access plus 0 seconds" # RSS feed ExpiresByType application/rss+xml "access plus 1 hour" # Favicon (cannot be renamed) ExpiresByType image/x-icon "access plus 1 week" # Media: images, video, audio ExpiresByType image/gif "access plus 1 month" ExpiresByType image/png "access plus 1 month" ExpiresByType image/jpg "access plus 1 month" ExpiresByType image/jpeg "access plus 1 month" ExpiresByType video/ogg "access plus 1 month" ExpiresByType audio/ogg "access plus 1 month" ExpiresByType video/mp4 "access plus 1 month" ExpiresByType video/webm "access plus 1 month" # HTC files (css3pie) ExpiresByType text/x-component "access plus 1 month" # Webfonts ExpiresByType font/truetype "access plus 1 month" ExpiresByType font/opentype "access plus 1 month" ExpiresByType application/x-font-woff "access plus 1 month" ExpiresByType image/svg+xml "access plus 1 month" ExpiresByType application/vnd.ms-fontobject "access plus 1 month" # CSS and JavaScript ExpiresByType text/css "access plus 1 year" ExpiresByType application/javascript "access plus 1 year" ExpiresByType text/javascript "access plus 1 year" <IfModule mod_headers.c> Header append Cache-Control "public" </IfModule> </IfModule> # 1.To use URL Alias you need to be running apache with mod_rewrite enabled. # 2. In your opencart directory rename htaccess.txt to .htaccess. # For any support issues please visit: http://www.opencart.com Options +FollowSymlinks # Prevent Directoy listing Options -Indexes # Prevent Direct Access to files <FilesMatch "(?i)((\.tpl|\.ini|\.log|(?<!robots)\.txt))"> Order deny,allow Deny from all </FilesMatch> # SEO URL Settings RewriteEngine On # If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/ RewriteBase / RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L] RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L] RewriteRule ^system/download/(.*) index.php?route=error/not_found [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css) RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA] ### Additional Settings that may need to be enabled for some servers ### Uncomment the commands by removing the # sign in front of it. ### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that. # 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it: # php_flag register_globals off # 2. If your cart has magic quotes enabled, This may work to disable it: # php_flag magic_quotes_gpc Off # 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try # php_value upload_max_filesize 999M # 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields # php_value post_max_size 999M # 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields # php_value max_execution_time 200 # 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields # php_value max_input_time 200 # 7. disable open_basedir limitations # php_admin_value open_basedir none  
    • От RenatK
      Добрый день форумчане! 
      Ищу людей которые готовы заниматься доработкой на OcStore 1.5.5.1.2 и постепенно дорабатывать, внедрять и настраивать магазин.   
      Многие говорят что это устаревшая версия, но так же есть ребята которые говорят, что отличная версия и можно довольно успешно с ней работать. 
      Жду ваших предложений. 
      ТЗ по запросу. 
       
       
  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.