Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Настройка robots.txt

StereoSkifcha
 Share

Recommended Posts

maxime Enthusiast

maxime

Опубліковано:
Опубліковано:

Использую такой, с индиксацией нет проблем

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http:сайт/index.php?route=feed/google_sitemap


User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http://сайт/index.php?route=feed/google_sitemap
Host: сайт

Надіслати
Поділитися на інших сайтах

20strannik08 Collaborator

20strannik08

Опубліковано:
Опубліковано: (змінено)

Вот в этих строках(везде где встречаются)

Sitemap:  http://сайт/index.php?route=feed/google_sitemap
Host: сайт

Прописываете свой адрес сайта, а остальное все оставляете как есть

Змінено користувачем 20strannik08
Надіслати
Поділитися на інших сайтах

maxime Enthusiast

maxime

Опубліковано:
Опубліковано:

Готовый ваш роботс. Копируйте его и вставляйте. Благодарность в карму)

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http://familytea.com.ua/index.php?route=feed/google_sitemap


User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http://familytea.com.ua/index.php?route=feed/google_sitemap
Host: http://familytea.com.ua

  • +1 3
Надіслати
Поділитися на інших сайтах

laim731 Proficient

laim731

Опубліковано:
Опубліковано: 
Вот мой ) 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /wishlist
Disallow: /login
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Sitemap: http://site.ru/sitemap.xml

Host: site.ru
  • +1 1
Надіслати
Поділитися на інших сайтах

maxime Enthusiast

maxime

Опубліковано:
Опубліковано:
3 часа назад, laim731 сказал: 

Вот мой ) 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /wishlist
Disallow: /login
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

Спс

Надіслати
Поділитися на інших сайтах

StereoSkifcha Contributor

StereoSkifcha

Опубліковано:
  • Автор
Опубліковано: (змінено)

Тоже плюсанул! :)

Спасибо что откликнулись)

 

Только вот когда перехожу по ссылке "http://familytea.com.ua/index.php?route=feed/google_sitemap" - пустая страница, так должно быть?

Разве не должно быть так "http://familytea.com.ua/sitemap.xml" ?

Змінено користувачем StereoSkifcha
Надіслати
Поділитися на інших сайтах

maxime Enthusiast

maxime

Опубліковано:
Опубліковано:
39 минут назад, StereoSkifcha сказал:

Тоже плюсанул! :)

Спасибо что откликнулись)

 

Только вот когда перехожу по ссылке "http://familytea.com.ua/index.php?route=feed/google_sitemap" - пустая страница, так должно быть?

Разве не должно быть так "http://familytea.com.ua/sitemap.xml" ?

Сгенерьте встроенным инструментом карту сайта или замените " index.php?route=feed/google_sitemap " на "sitemap.xml"

  • +1 1
Надіслати
Поділитися на інших сайтах

gregoro Mentor

gregoro

Опубліковано:
Опубліковано:

Там наверху host прописали с протоколом http

Не совсем верно это. Протокол указывают только тогда, когда https

В остальных случаях пишется типа: 

host: site.ru

Надіслати
Поділитися на інших сайтах

  • 2 weeks later...
  • 4 weeks later...
StoreGadgets Contributor

StoreGadgets

Опубліковано:
Опубліковано: (змінено)

maxime, laim731, Приветствую вас)))

Ребята спасайте))) помогите тоже пожалуйста правильно настроить robot.txt)))

Сейчас он выглядит так: 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Гугл ругается на это Clean-param: tracking

Помогите пожалуйста!!!)))

1)И сразу вопрос после исправления этот файл просто оставить в корневой папке?

2)если на сайте будет что то меняться например категория товар это будет влиять на этот файл?

Змінено користувачем StoreGadgets
Надіслати
Поділитися на інших сайтах

  • 2 months later...
yaros888 Enthusiast

yaros888

Опубліковано:
Опубліковано:

Все добрый вечер!

Подскажите правильно ли сделан файл тхт , почему справишиваю упало кол-во страниц в поиске как в яндексе так и в гугле. Может быть грешу,на то что была смена движка сайта и поменяны юрл страниц,но как в гугле так и в яндексе страницы есть под запретом индекса.Может плохо сделали мне файл.Посмотрите.Спасибо за совет

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: galcom.com.ua

Надіслати
Поділитися на інших сайтах

  • 8 months later...
Veretin Collaborator

Veretin

Опубліковано:
Опубліковано:

Всем доброго вечера. Не пинайте сильно. Я только учусь и познаю азы. Возникли некие проблемы, которые сейчас опишу, и пришел к выводу, что всему виной файл robots я с ним ничего не делал, как он был изначально такой сейчас и есть. А проблема вот в чем. Создал новую категорию, сделал все как положено но вот что мне пишет Вебмастер (извиняюсь если не очень понятно выражаюсь) выдает две ссылки на одну из которых он метит 200 а вторую 301. Рисунок прилагается. Или это не из-за роботс и причина в другом? Еще как вариант думаю что у меня что то с сео-про, так как он есть у меня и включен но не работает. (Если полностью отключить сео про и в ручную прописывать урл? Может быть это поможет? 

А вторая проблема даже не знаю как описать. На картинки я подчеркнул, проблема с page (это я так понял точно проблема в роботс). 

Подскажите какой из представленных выше вариантов лучше прописать в роботс, или надо прописывать под себя и из выше представленных вариантов мне не подходит? 

Помогите пожалуйста, а то уже второй день пытаюсь понять но ни как не заходит. За ранее благодарен. 

 

333.png

444.png

Надіслати
Поділитися на інших сайтах

Veretin Collaborator

Veretin

Опубліковано:
Опубліковано: 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=


User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
Host: site.com

Sitemap: http://site.com/sitemap.xml
Надіслати
Поділитися на інших сайтах

  • 11 months later...
  • 1 month later...
Stackand Community Regular

Stackand

Опубліковано:
Опубліковано:

Господа, товарищи!

Гугл мерчант просит внести некие корективы в роботс, а именно :

Screenshot_4.png.e6bb155f4488ae2757cd8fdffe3e0480.png

Там же есть инструкции, но по ним что-то понять сложно.

Кто подскажет как сделать роботс, с разрешением гугл боту и мерчанту смотреть на картинки? 

Буду весьма признателен.

Надіслати
Поділитися на інших сайтах

  • 1 year later...

Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
 Share
Перейти до списку тем

  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку

Покупцям

Розробникам

Корисна інформація

Останні розширення

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.

  Я даю згоду