Jump to content

Recommended Posts

Использую такой, с индиксацией нет проблем

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http:сайт/index.php?route=feed/google_sitemap


User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http://сайт/index.php?route=feed/google_sitemap
Host: сайт

Share this post


Link to post
Share on other sites

А можно так делать, вставлять с других сайтов? Там не идет конкретно настройка под сайт?

Ребят, объяснит кто?

Share this post


Link to post
Share on other sites

Вот в этих строках(везде где встречаются)

Sitemap:  http://сайт/index.php?route=feed/google_sitemap
Host: сайт

Прописываете свой адрес сайта, а остальное все оставляете как есть

Edited by 20strannik08

Share this post


Link to post
Share on other sites

Готовый ваш роботс. Копируйте его и вставляйте. Благодарность в карму)

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http://familytea.com.ua/index.php?route=feed/google_sitemap


User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http://familytea.com.ua/index.php?route=feed/google_sitemap
Host: http://familytea.com.ua

  • +1 3

Share this post


Link to post
Share on other sites

Плюсанул. Мне этот вариант тоже понравился, применю у себя...

Share this post


Link to post
Share on other sites
10 минут назад, 20strannik08 сказал:

Плюсанул. Мне этот вариант тоже понравился, применю у себя...

Приятно, что помог. Спс)

  • +1 1

Share this post


Link to post
Share on other sites
Вот мой ) 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /wishlist
Disallow: /login
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Sitemap: http://site.ru/sitemap.xml

Host: site.ru
  • +1 1

Share this post


Link to post
Share on other sites
3 часа назад, laim731 сказал:
Вот мой ) 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /wishlist
Disallow: /login
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

Спс

Share this post


Link to post
Share on other sites

Тоже плюсанул! :)

Спасибо что откликнулись)

 

Только вот когда перехожу по ссылке "http://familytea.com.ua/index.php?route=feed/google_sitemap" - пустая страница, так должно быть?

Разве не должно быть так "http://familytea.com.ua/sitemap.xml" ?

Edited by StereoSkifcha

Share this post


Link to post
Share on other sites
39 минут назад, StereoSkifcha сказал:

Тоже плюсанул! :)

Спасибо что откликнулись)

 

Только вот когда перехожу по ссылке "http://familytea.com.ua/index.php?route=feed/google_sitemap" - пустая страница, так должно быть?

Разве не должно быть так "http://familytea.com.ua/sitemap.xml" ?

Сгенерьте встроенным инструментом карту сайта или замените " index.php?route=feed/google_sitemap " на "sitemap.xml"

  • +1 1

Share this post


Link to post
Share on other sites

Там наверху host прописали с протоколом http

Не совсем верно это. Протокол указывают только тогда, когда https

В остальных случаях пишется типа: 

host: site.ru

Share this post


Link to post
Share on other sites

maxime, laim731, Приветствую вас)))

Ребята спасайте))) помогите тоже пожалуйста правильно настроить robot.txt)))

Сейчас он выглядит так:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Гугл ругается на это Clean-param: tracking

Помогите пожалуйста!!!)))

1)И сразу вопрос после исправления этот файл просто оставить в корневой папке?

2)если на сайте будет что то меняться например категория товар это будет влиять на этот файл?

Edited by StoreGadgets

Share this post


Link to post
Share on other sites

Все добрый вечер!

Подскажите правильно ли сделан файл тхт , почему справишиваю упало кол-во страниц в поиске как в яндексе так и в гугле. Может быть грешу,на то что была смена движка сайта и поменяны юрл страниц,но как в гугле так и в яндексе страницы есть под запретом индекса.Может плохо сделали мне файл.Посмотрите.Спасибо за совет

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: galcom.com.ua

Share this post


Link to post
Share on other sites

Всем доброго вечера. Не пинайте сильно. Я только учусь и познаю азы. Возникли некие проблемы, которые сейчас опишу, и пришел к выводу, что всему виной файл robots я с ним ничего не делал, как он был изначально такой сейчас и есть. А проблема вот в чем. Создал новую категорию, сделал все как положено но вот что мне пишет Вебмастер (извиняюсь если не очень понятно выражаюсь) выдает две ссылки на одну из которых он метит 200 а вторую 301. Рисунок прилагается. Или это не из-за роботс и причина в другом? Еще как вариант думаю что у меня что то с сео-про, так как он есть у меня и включен но не работает. (Если полностью отключить сео про и в ручную прописывать урл? Может быть это поможет? 

А вторая проблема даже не знаю как описать. На картинки я подчеркнул, проблема с page (это я так понял точно проблема в роботс). 

Подскажите какой из представленных выше вариантов лучше прописать в роботс, или надо прописывать под себя и из выше представленных вариантов мне не подходит? 

Помогите пожалуйста, а то уже второй день пытаюсь понять но ни как не заходит. За ранее благодарен. 

 

333.png

444.png

Share this post


Link to post
Share on other sites

Доброе утро всем. 

После вчерашнего ковырялся думал кумека и нашел такой роботс подойдет мне? 

Share this post


Link to post
Share on other sites
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=


User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
Host: site.com

Sitemap: http://site.com/sitemap.xml

Share this post


Link to post
Share on other sites

Вот только смущают строки по гуглу , нужны они не нужны, у вас п примерах немного по другому....

Share this post


Link to post
Share on other sites
Disallow: /catalog

не закрывай от индексации.

Share this post


Link to post
Share on other sites

Господа, товарищи!

Гугл мерчант просит внести некие корективы в роботс, а именно :

Screenshot_4.png.e6bb155f4488ae2757cd8fdffe3e0480.png

Там же есть инструкции, но по ним что-то понять сложно.

Кто подскажет как сделать роботс, с разрешением гугл боту и мерчанту смотреть на картинки? 

Буду весьма признателен.

Share this post


Link to post
Share on other sites

Подскажите, что добавить в robots, чтобы запретить индексацию далее первой страницы, 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.