Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Идеальный robots.txt

pavelp
 Share

Recommended Posts

DeExp Apprentice

DeExp

Опубліковано:
Опубліковано:

Яндекс добавил в индекс страницы типа:

  Поиск - 2 страница
smartshome.by/search/?tag=irobot&page=2
    Поиск
smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot
    Поиск
smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200
    Поиск
smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung
    Поиск
smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung
    Поиск
smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и так далее.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от индексирования?

Надіслати
Поділитися на інших сайтах

whuga Contributor

whuga

Опубліковано:
Опубліковано: (змінено)

Яндекс добавил в индекс страницы типа:

  Поиск - 2 страница

smartshome.by/search/?tag=irobot&page=2

    Поиск

smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot

    Поиск

smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200

    Поиск

smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и так далее.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от индексирования?

 

Дописать

 

Disallow: /?tag=

Змінено користувачем whuga
Надіслати
Поділитися на інших сайтах

DeExp Apprentice

DeExp

Опубліковано:
Опубліковано:

 

Яндекс добавил в индекс страницы типа:

  Поиск - 2 страница

smartshome.by/search/?tag=irobot&page=2

    Поиск

smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot

    Поиск

smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200

    Поиск

smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и так далее.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от индексирования?

 

Дописать

 

Disallow: /?tag=

 

Спасибо - попробую

Надіслати
Поділитися на інших сайтах

vimpel77 Proficient

vimpel77

Опубліковано:
Опубліковано:

Попросил одного камрада на этом форуме настроить robots.txt на новом ресурсе. С Яши пошел трафик, а гугл уперся, решил искать в чем проблема. Как я понял, вероятно в строке:

Disallow: /image

Гугл воспринимает все страницы, не  корректно? Или это есть норма?

Надіслати
Поділитися на інших сайтах

pantagruel964 Mentor

pantagruel964

Опубліковано:
Опубліковано:

Если вы говорите о трафике с поиска по картинкам, тогда да, проблема в этом. Удалите строку, хотя заметной разницы все равно не увидите.

Надіслати
Поділитися на інших сайтах
1

vimpel77 Proficient

vimpel77

Опубліковано:
Опубліковано:

гугл вебмастер показывает это как ошибку, поскольку он считает, что на всех страницах картинки выглядят не корректно (или их нет, но ссылки на нкартинки есть)

Надіслати
Поділитися на інших сайтах

pantagruel964 Mentor

pantagruel964

Опубліковано:
Опубліковано:

Конечно, показывает, вы ж зачем-то запретили картинки к индексации (точно знаете что делаете?). В любом случае, ищите проблему в другом месте.

Пишете, что пошел трафик с Яндекса, с Гугла не пошел, и начали искать проблему в роботсе. Вы посмотрите для начала, добавил ли Гугл ваши страницы в индекс. Сами ж пишете, что ресурс новый, откуда там быть трафику.

Надіслати
Поділитися на інших сайтах
1

  • 3 weeks later...
suppertoshka Rookie

suppertoshka

Опубліковано:
Опубліковано:

Ребята , всем привет.

Я еще немного новичек и по этому прошу помощи.

Из за всех источников пособирал понемногу, общее представления есть.

Почитал все ваши записи и все равно ни чего толком не понял. 

Грубо говоря вот мой: robots.txt

Что кто посоветует: правильно, нет.
Закрыл только одну страницу.
 
User-Agent: *
Allow: /
Disallow:/rome-decor
Host: nyni.ru
 
Кто что скажет. 
Надіслати
Поділитися на інших сайтах

  • 3 weeks later...
  • 2 weeks later...
Margo Contributor

Margo

Опубліковано:
Опубліковано:

Всем привет. Ребята подскажите плиз, что не так с robots.txt ? При добавлении sitemap.xml  в панели вебмастеров Яндекса и Гугла пишет, что URL запрещен к индексированию в файле robots.txt.

Url http://kids-town.com.ua/sitemap.xml is disallowed in robots.txt.

Надіслати
Поділитися на інших сайтах

Margo Contributor

Margo

Опубліковано:
Опубліковано:
User-agent: *

Disallow: /*route=checkout/

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*?currency=

Disallow: /*?route=product

Disallow: /*?keyword                           

Disallow: /*?product/product&product_id=       

Disallow: /*?product/category&path=            

Disallow: /*?route=common/home                 

Disallow: /*?product_id

Disallow: *#category_id*

Disallow: *?page=*

 

 

User-agent: Yandex

Disallow: /*route=checkout/

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?currency=

Disallow: /*?route=product

Disallow: /*?keyword                           

Disallow: /*?product/product&product_id=       

Disallow: /*?product/category&path=            

Disallow: /*?route=common/home                 

Disallow: /*?product_id

Clean-param: tracking

 

Disallow: *#category_id*

Disallow: *?page=*

Disallow: /cgi-bin

 

Host: kids-town.com.ua


Надіслати
Поділитися на інших сайтах

  • 4 months later...
farkopcar Explorer

farkopcar

Опубліковано:
Опубліковано:

Вот такой роботс стоит сейчас на сайте.

Сегодня заметил что гугл ругается и говорит о запрете пока что двух ссылок с сайта

http://farkopcar.ru/farkop-ford-ranger-2011-limited-wildtrack-xlt-xl.html

http://farkopcar.ru/farkop-na-ford-ranger-2011-limited-wildtrask-so-stupenkoy.html

Там же в гугле он показывает строчку и отмечает ее красным Disallow: /*limit

Что это значит  и как можно исравить, так как я не запрещал индексацию данных урлов((.

User-agent: *
Allow: /*manufacturer_id
Disallow: /index.php
Disallow: /*route
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*tracking
Disallow: /*kabinet
Disallow: /*compare
Disallow: /*cart
Disallow: /*password
Disallow: /*page-1
Disallow: /*search
Host: farkopcar.ru
Sitemap: http://farkopcar.ru/sitemap.xml

Надіслати
Поділитися на інших сайтах

  • 4 weeks later...
  • 2 weeks later...
biznesmenDN Newbie

biznesmenDN

Опубліковано:
Опубліковано:

Здравствуйте, подскажите пожалуйста, правильный ли у меня вариант ?

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
 
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Clean-param: tracking
 
 
И  к сожалению в вебмастере гугла выдает что именно robots.txt заблокировано.
Надіслати
Поділитися на інших сайтах

HyperLabTeam Grand Master

HyperLabTeam

Опубліковано:
Опубліковано:

 
И  к сожалению в вебмастере гугла выдает что именно robots.txt заблокировано.

 

заблокировано что именно???

 

 
 
 
Надіслати
Поділитися на інших сайтах

  • 3 months later...
termotorg Community Regular

termotorg

Опубліковано:
Опубліковано: (змінено)

Посоветуйте, нужно ли закрывать поисковикам доступ к страницам тегов ?tag= ? И вообще что дают эти теги? Только удобство для пользователя или для поисковиков это тоже нужно?

Змінено користувачем termotorg
Надіслати
Поділитися на інших сайтах

  • 1 month later...
Leooonov Collaborator

Leooonov

Опубліковано:
Опубліковано: (змінено)

Прошу провести аудит*)

Ребята- не будьте равнодушны, пожалуйста)

pMwMiC1f.png

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Host: basik-baby.ru
Clean-param: tracking
Змінено користувачем Leooonov
Надіслати
Поділитися на інших сайтах

  • 1 month later...
Blow Contributor

Blow

Опубліковано:
Опубліковано:

На старом ресурсе после обновления опен карта и шаблона гугл начал матюкатся на заблокированные скрипты и ресурсы в /catalog. 
После танцев с бубном особо без результатных снес robots что бы узреть в нем ли причина. 
Причина в нем. Заблокированные ресурсы начали разблокироваться но в индекс начали добавляться дубли страниц отсортированные по разному (А-Я), (Цена), (Название) 
Это я так понимаю из за того что robots теперь у меня нету.)

Вопрос: 
Какой параметр в этом загадочном файле отвечает за блокировку добавления в индекс одной категории несколько раз но по разном отсортированной?)
Я полагаю такие страницы не пойдут на пользу рейтингу сайта в выдаче

Надіслати
Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
 Share
Перейти до списку тем

  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку

Покупцям

Розробникам

Корисна інформація

Останні розширення

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.

  Я даю згоду