Jump to content
Sign in to follow this  
tata26

Как убрать некоторые страницы от индексации?

Recommended Posts

Добрый день! Как убрать некоторые страницы сайта от индексации?

Share this post


Link to post
Share on other sites

в корне сайта лежит файл robots.txt

там перечислены пути, закрытые от индексации

сделать по аналогии

Share this post


Link to post
Share on other sites

Есть задача временно закрыть от индексации  карточки всех товаров.
Правильно ли я понимаю, что в robots.txt это будет выглядеть следующим образом:
Disallow: /index.php?route=product
Я прав?

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Similar Content

    • By Andris
      Здравствуйте!
      Уважаемые коллеги, Яндекс Вебмастер в последнее время присылает письма такого рода:
      "Изменился статус в поиске у важных страниц:
      Текст ссылки
      Старый статус: В поиске 
      Новый статус: Запрещено элементом noindex 
      Страница была исключена из поиска из-за установленного с помощью мета-тега robots со значением content="noindex" или content="none" запрета на индексирование. Чтобы страница появилась в поиске, удалите запрет и отправьте её на переобход". 
      Проверил robots.txt - никаких запретов там нет.
      Приходиться вручную отправлять страницы в Вебмастере на переобход. Очень это муторно, т.к. таких страниц десятки и они постоянно появляются на смену другим.
      Проверка ответа сервера для этих страниц 200 ОК.
      2 дня назад написал в поддержку через Вебмастер - пока тишина.
      В чём проблема не пойму, нужны советы.
      Заранее благодарю за помощь!
      robots.txt
    • By Evgeniy2204
      Друзья, я вообще ни чего не понимаю почти, подскажите пожалуйста куда нужно устанавливать коды для индексации от Яндекса и Гугла, как это сделать правильно. Подскажите пожалуйста как удалить или добавить поля в оформлении заказа. Спасибо большое, надеюсь на вашу помощь.
    • By Bookert
      Всем привет!) Занимаюсь своим ИМ и в данный момент ломаю голову над вопросом связанным с индексацией статей блога. По большей части они индексируются, но есть исключения. Залез в свой sitemap (сгенерирован модулем FX sitemap 2.0 от Otvet) и обнаружил в нем фактически все (товары, главная страница, подкатегории,..), но статей там нет. 
      Открыл инструкцию от автора модуля и нашел там в таблице строку, что стандартный путь до установленного блога, по умолчанию information/blog. Мой же блог имеет путь site.ru/shopblog/.
      Прописал две строки в настройках модуля - первую (стандартную)+ вторую с указанием пути до моего блога, потом все таки решил оставил одну вот такую строку: https://site.ru/index.php?route=feed/google_sitemap&blog=shopblog. Сохраняю, перехожу по этой ссылке и мне выдает тоже самое. Попробовал в каналах продвижения включить sitemap для яндекса и google, так вот в google статьи все попадают, а в яндекс нет. 
      Шаблон ИМ LightShop. Вот robots.txt
      User-agent: *
      Disallow: *account
      Disallow: *affiliate
      Disallow: *search
      Disallow: *create-account
      Disallow: *forgot-password
      Disallow: /compare-products
      Disallow: /login
      Disallow: *add-return
      Disallow: *tag
      Disallow: *cart
      Disallow: *checkout
      Disallow: *password
      Disallow: *filter
      Disallow: *sort
      Disallow: *admin
      Disallow: *sitemap
      Host: site.ru
      Sitemap: https://site.ru/index.php?route=feed/google_sitemap&blog=shopblog
       
      .htaccess:
      Options -Indexes
      <FilesMatch "(?i)((\.tpl|\.ini|\.log|(?<!robots)\.txt))">
       Require all denied
      </FilesMatch>
      RewriteEngine On
      RewriteBase /
      RewriteRule ^sitemap.xml$ index.php?route=extension/feed/fast__sitemap [L]
      RewriteRule ^googlebase.xml$ index.php?route=extension/feed/google_base [L]
      RewriteRule ^system/download/(.*) index.php?route=error/not_found [L]
      RewriteCond %{REQUEST_FILENAME} !-f
      RewriteCond %{REQUEST_FILENAME} !-d
      RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
      RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
      RewriteEngine On
      RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
      RewriteRule ^index\.php$ http://VASHSITE/ [R=301,L]
      RewriteCond %{HTTPS} off
      RewriteCond %{HTTP:X-Forwarded-Proto} !https
      RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
       
      В robots-е стандартный sitemap закрыл, т.к. карта генерируемая модулем имеет другой url. 
       
      Тему создал т.к. не хватает знаний и автор модуля закрыл его поддержку. 
      Откликнувшимся заранее спасибо ) 
       
    • By Violetta25
      Перестали индексироваться картинки и пропали с индекса те, которые уже были там, как понимаю. В чем может быть проблема? И как ее устранить?

    • By Igor5
      Привет
      В общем нужно принудительно указать поисковикам время индексации сайта... Хочу выставить индексацию, чтоб было несколько раз на день (день и вечер)
  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.