Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

Яндекс добавил в индекс страницы типа:

  Поиск - 2 страница
smartshome.by/search/?tag=irobot&page=2
    Поиск
smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot
    Поиск
smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200
    Поиск
smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung
    Поиск
smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung
    Поиск
smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и так далее.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от индексирования?

Надіслати
Поділитися на інших сайтах


Яндекс добавил в индекс страницы типа:

  Поиск - 2 страница

smartshome.by/search/?tag=irobot&page=2

    Поиск

smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot

    Поиск

smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200

    Поиск

smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и так далее.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от индексирования?

 

Дописать

 

Disallow: /?tag=

Змінено користувачем whuga
Надіслати
Поділитися на інших сайтах


 

Яндекс добавил в индекс страницы типа:

  Поиск - 2 страница

smartshome.by/search/?tag=irobot&page=2

    Поиск

smartshome.by/search/?tag=podrulivayushchee koleso dlya robotov pylesosov irobot

    Поиск

smartshome.by/search/?tag=otvetnaya chast dlya zamkov na steklyannuyu dver samsung shs-asr200

    Поиск

smartshome.by/search/?tag=rf karta brelok dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=rf karta stiker dlya dvernyh zamkov samsung

    Поиск

smartshome.by/search/?tag=ogranichitel dvizheniya dlya robotov pylesosov irobo

и так далее.

Те же страницы встречаются и в гугл.

 

Подскажите как можно их закрыть от индексирования?

 

Дописать

 

Disallow: /?tag=

 

Спасибо - попробую

Надіслати
Поділитися на інших сайтах


Попросил одного камрада на этом форуме настроить robots.txt на новом ресурсе. С Яши пошел трафик, а гугл уперся, решил искать в чем проблема. Как я понял, вероятно в строке:

Disallow: /image

Гугл воспринимает все страницы, не  корректно? Или это есть норма?

Надіслати
Поділитися на інших сайтах


Если вы говорите о трафике с поиска по картинкам, тогда да, проблема в этом. Удалите строку, хотя заметной разницы все равно не увидите.

Надіслати
Поділитися на інших сайтах

гугл вебмастер показывает это как ошибку, поскольку он считает, что на всех страницах картинки выглядят не корректно (или их нет, но ссылки на нкартинки есть)

Надіслати
Поділитися на інших сайтах


Конечно, показывает, вы ж зачем-то запретили картинки к индексации (точно знаете что делаете?). В любом случае, ищите проблему в другом месте.

Пишете, что пошел трафик с Яндекса, с Гугла не пошел, и начали искать проблему в роботсе. Вы посмотрите для начала, добавил ли Гугл ваши страницы в индекс. Сами ж пишете, что ресурс новый, откуда там быть трафику.

Надіслати
Поділитися на інших сайтах

  • 3 weeks later...

Ребята , всем привет.

Я еще немного новичек и по этому прошу помощи.

Из за всех источников пособирал понемногу, общее представления есть.

Почитал все ваши записи и все равно ни чего толком не понял. 

Грубо говоря вот мой: robots.txt

Что кто посоветует: правильно, нет.
Закрыл только одну страницу.
 
User-Agent: *
Allow: /
Disallow:/rome-decor
Host: nyni.ru
 
Кто что скажет. 
Надіслати
Поділитися на інших сайтах


  • 3 weeks later...
  • 2 weeks later...

Всем привет. Ребята подскажите плиз, что не так с robots.txt ? При добавлении sitemap.xml  в панели вебмастеров Яндекса и Гугла пишет, что URL запрещен к индексированию в файле robots.txt.

Url http://kids-town.com.ua/sitemap.xml is disallowed in robots.txt.

Надіслати
Поділитися на інших сайтах


User-agent: *

Disallow: /*route=checkout/

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*?currency=

Disallow: /*?route=product

Disallow: /*?keyword                           

Disallow: /*?product/product&product_id=       

Disallow: /*?product/category&path=            

Disallow: /*?route=common/home                 

Disallow: /*?product_id

Disallow: *#category_id*

Disallow: *?page=*

 

 

User-agent: Yandex

Disallow: /*route=checkout/

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?currency=

Disallow: /*?route=product

Disallow: /*?keyword                           

Disallow: /*?product/product&product_id=       

Disallow: /*?product/category&path=            

Disallow: /*?route=common/home                 

Disallow: /*?product_id

Clean-param: tracking

 

Disallow: *#category_id*

Disallow: *?page=*

Disallow: /cgi-bin

 

Host: kids-town.com.ua


Надіслати
Поділитися на інших сайтах


  • 4 months later...

Вот такой роботс стоит сейчас на сайте.

Сегодня заметил что гугл ругается и говорит о запрете пока что двух ссылок с сайта

http://farkopcar.ru/farkop-ford-ranger-2011-limited-wildtrack-xlt-xl.html

http://farkopcar.ru/farkop-na-ford-ranger-2011-limited-wildtrask-so-stupenkoy.html

Там же в гугле он показывает строчку и отмечает ее красным Disallow: /*limit

Что это значит  и как можно исравить, так как я не запрещал индексацию данных урлов((.

User-agent: *
Allow: /*manufacturer_id
Disallow: /index.php
Disallow: /*route
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*sort
Disallow: /*order
Disallow: /*limit
Disallow: /*filter
Disallow: /*tracking
Disallow: /*kabinet
Disallow: /*compare
Disallow: /*cart
Disallow: /*password
Disallow: /*page-1
Disallow: /*search
Host: farkopcar.ru
Sitemap: http://farkopcar.ru/sitemap.xml

Надіслати
Поділитися на інших сайтах


  • 4 weeks later...
  • 2 weeks later...

Здравствуйте, подскажите пожалуйста, правильный ли у меня вариант ?

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
 
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Clean-param: tracking
 
 
И  к сожалению в вебмастере гугла выдает что именно robots.txt заблокировано.
Надіслати
Поділитися на інших сайтах


 
И  к сожалению в вебмастере гугла выдает что именно robots.txt заблокировано.

 

заблокировано что именно???

 

 
 
 
Надіслати
Поділитися на інших сайтах


  • 3 months later...

Посоветуйте, нужно ли закрывать поисковикам доступ к страницам тегов ?tag= ? И вообще что дают эти теги? Только удобство для пользователя или для поисковиков это тоже нужно?

Змінено користувачем termotorg
Надіслати
Поділитися на інших сайтах


  • 1 month later...

Прошу провести аудит*)

Ребята- не будьте равнодушны, пожалуйста)

pMwMiC1f.png

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Host: basik-baby.ru
Clean-param: tracking
Змінено користувачем Leooonov
Надіслати
Поділитися на інших сайтах


  • 1 month later...

На старом ресурсе после обновления опен карта и шаблона гугл начал матюкатся на заблокированные скрипты и ресурсы в /catalog. 
После танцев с бубном особо без результатных снес robots что бы узреть в нем ли причина. 
Причина в нем. Заблокированные ресурсы начали разблокироваться но в индекс начали добавляться дубли страниц отсортированные по разному (А-Я), (Цена), (Название) 
Это я так понимаю из за того что robots теперь у меня нету.)

Вопрос: 
Какой параметр в этом загадочном файле отвечает за блокировку добавления в индекс одной категории несколько раз но по разном отсортированной?)
Я полагаю такие страницы не пойдут на пользу рейтингу сайта в выдаче

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.