Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Идеальный robots.txt


Рекомендованные сообщения

Яндекс добавил в индекс страницы типа:

  Поиск - 2 страница
smartshome.by/search/?tag=irobot&page=2
    Поиск
smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot
    Поиск
smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200
    Поиск
smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung
    Поиск
smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung
    Поиск
smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и так далее.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от индексирования?

Ссылка на комментарий
Поделиться на других сайтах


Яндекс добавил в индекс страницы типа:

  Поиск - 2 страница

smartshome.by/search/?tag=irobot&page=2

    Поиск

smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot

    Поиск

smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200

    Поиск

smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и так далее.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от индексирования?

 

Дописать

 

Disallow: /?tag=

Изменено пользователем whuga
Ссылка на комментарий
Поделиться на других сайтах


 

Яндекс добавил в индекс страницы типа:

  Поиск - 2 страница

smartshome.by/search/?tag=irobot&page=2

    Поиск

smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot

    Поиск

smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200

    Поиск

smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и так далее.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от индексирования?

 

Дописать

 

Disallow: /?tag=

 

Спасибо - попробую

Ссылка на комментарий
Поделиться на других сайтах


Попросил одного камрада на этом форуме настроить robots.txt на новом ресурсе. С Яши пошел трафик, а гугл уперся, решил искать в чем проблема. Как я понял, вероятно в строке:

Disallow: /image

Гугл воспринимает все страницы, не  корректно? Или это есть норма?

Ссылка на комментарий
Поделиться на других сайтах


Если вы говорите о трафике с поиска по картинкам, тогда да, проблема в этом. Удалите строку, хотя заметной разницы все равно не увидите.

Ссылка на комментарий
Поделиться на других сайтах

гугл вебмастер показывает это как ошибку, поскольку он считает, что на всех страницах картинки выглядят не корректно (или их нет, но ссылки на нкартинки есть)

Ссылка на комментарий
Поделиться на других сайтах


Конечно, показывает, вы ж зачем-то запретили картинки к индексации (точно знаете что делаете?). В любом случае, ищите проблему в другом месте.

Пишете, что пошел трафик с Яндекса, с Гугла не пошел, и начали искать проблему в роботсе. Вы посмотрите для начала, добавил ли Гугл ваши страницы в индекс. Сами ж пишете, что ресурс новый, откуда там быть трафику.

Ссылка на комментарий
Поделиться на других сайтах

  • 3 недели спустя...

Ребята , всем привет.

Я еще немного новичек и по этому прошу помощи.

Из за всех источников пособирал понемногу, общее представления есть.

Почитал все ваши записи и все равно ни чего толком не понял. 

Грубо говоря вот мой: robots.txt

Что кто посоветует: правильно, нет.
Закрыл только одну страницу.
 
User-Agent: *
Allow: /
Disallow:/rome-decor
Host: nyni.ru
 
Кто что скажет. 
Ссылка на комментарий
Поделиться на других сайтах


  • 3 недели спустя...

У меня на сайте есть категория Downloads, Gogl ее заблокировал Sitemap contains urls which are blocked by robots.txt.

Что делать в этом случае? Убрать строчку
Disallow: /download?

Ссылка на комментарий
Поделиться на других сайтах


  • 2 недели спустя...

Всем привет. Ребята подскажите плиз, что не так с robots.txt ? При добавлении sitemap.xml  в панели вебмастеров Яндекса и Гугла пишет, что URL запрещен к индексированию в файле robots.txt.

Url http://kids-town.com.ua/sitemap.xml is disallowed in robots.txt.

Ссылка на комментарий
Поделиться на других сайтах


User-agent: *

Disallow: /*route=checkout/

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*?currency=

Disallow: /*?route=product

Disallow: /*?keyword                           

Disallow: /*?product/product&product_id=       

Disallow: /*?product/category&path=            

Disallow: /*?route=common/home                 

Disallow: /*?product_id

Disallow: *#category_id*

Disallow: *?page=*

 

 

User-agent: Yandex

Disallow: /*route=checkout/

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?currency=

Disallow: /*?route=product

Disallow: /*?keyword                           

Disallow: /*?product/product&product_id=       

Disallow: /*?product/category&path=            

Disallow: /*?route=common/home                 

Disallow: /*?product_id

Clean-param: tracking

 

Disallow: *#category_id*

Disallow: *?page=*

Disallow: /cgi-bin

 

Host: kids-town.com.ua


Ссылка на комментарий
Поделиться на других сайтах


Нужно ли закрывать папку cache от индексации? А то яндекс кучу фото их кэша проиндексировал, кэш почистился и теперь 404 ошибки в вебмастере...

Ссылка на комментарий
Поделиться на других сайтах


  • 4 месяца спустя...

Вот такой роботс стоит сейчас на сайте.

Сегодня заметил что гугл ругается и говорит о запрете пока что двух ссылок с сайта

http://farkopcar.ru/farkop-ford-ranger-2011-limited-wildtrack-xlt-xl.html

http://farkopcar.ru/farkop-na-ford-ranger-2011-limited-wildtrask-so-stupenkoy.html

Там же в гугле он показывает строчку и отмечает ее красным Disallow: /*limit

Что это значит  и как можно исравить, так как я не запрещал индексацию данных урлов((.

User-agent: *
Allow: /*manufacturer_id
Disallow: /index.php
Disallow: /*route
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*tracking
Disallow: /*kabinet
Disallow: /*compare
Disallow: /*cart
Disallow: /*password
Disallow: /*page-1
Disallow: /*search
Host: farkopcar.ru
Sitemap: http://farkopcar.ru/sitemap.xml

Ссылка на комментарий
Поделиться на других сайтах


  • 4 недели спустя...

Добрый день

 

/index.php?route=product/product*&manufacturer_id=

 

 

 
ЭТО что? тоесть роботс запрещает гугла или яндексам переходить на товар????
Ссылка на комментарий
Поделиться на других сайтах


  • 2 недели спустя...

Здравствуйте, подскажите пожалуйста, правильный ли у меня вариант ?

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
 
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Clean-param: tracking
 
 
И  к сожалению в вебмастере гугла выдает что именно robots.txt заблокировано.
Ссылка на комментарий
Поделиться на других сайтах


 
И  к сожалению в вебмастере гугла выдает что именно robots.txt заблокировано.

 

заблокировано что именно???

 

 
 
 
Ссылка на комментарий
Поделиться на других сайтах


  • 3 месяца спустя...

Посоветуйте, нужно ли закрывать поисковикам доступ к страницам тегов ?tag= ? И вообще что дают эти теги? Только удобство для пользователя или для поисковиков это тоже нужно?

Изменено пользователем termotorg
Ссылка на комментарий
Поделиться на других сайтах


  • 1 месяц спустя...

Прошу провести аудит*)

Ребята- не будьте равнодушны, пожалуйста)

pMwMiC1f.png

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Host: basik-baby.ru
Clean-param: tracking
Изменено пользователем Leooonov
Ссылка на комментарий
Поделиться на других сайтах


  • 1 месяц спустя...

На старом ресурсе после обновления опен карта и шаблона гугл начал матюкатся на заблокированные скрипты и ресурсы в /catalog. 
После танцев с бубном особо без результатных снес robots что бы узреть в нем ли причина. 
Причина в нем. Заблокированные ресурсы начали разблокироваться но в индекс начали добавляться дубли страниц отсортированные по разному (А-Я), (Цена), (Название) 
Это я так понимаю из за того что robots теперь у меня нету.)

Вопрос: 
Какой параметр в этом загадочном файле отвечает за блокировку добавления в индекс одной категории несколько раз но по разном отсортированной?)
Я полагаю такие страницы не пойдут на пользу рейтингу сайта в выдаче

Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу.
×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.