Перейти к содержанию

Рекомендуемые сообщения

Использую такой, с индиксацией нет проблем

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http:сайт/index.php?route=feed/google_sitemap


User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http://сайт/index.php?route=feed/google_sitemap
Host: сайт

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А можно так делать, вставлять с других сайтов? Там не идет конкретно настройка под сайт?

Ребят, объяснит кто?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вот в этих строках(везде где встречаются)

Sitemap:  http://сайт/index.php?route=feed/google_sitemap
Host: сайт

Прописываете свой адрес сайта, а остальное все оставляете как есть

Изменено пользователем 20strannik08

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Готовый ваш роботс. Копируйте его и вставляйте. Благодарность в карму)

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http://familytea.com.ua/index.php?route=feed/google_sitemap


User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*route=product/search
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Sitemap:  http://familytea.com.ua/index.php?route=feed/google_sitemap
Host: http://familytea.com.ua

  • +1 2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Плюсанул. Мне этот вариант тоже понравился, применю у себя...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
10 минут назад, 20strannik08 сказал:

Плюсанул. Мне этот вариант тоже понравился, применю у себя...

Приятно, что помог. Спс)

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вот мой ) 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /wishlist
Disallow: /login
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Sitemap: http://site.ru/sitemap.xml

Host: site.ru
  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3 часа назад, laim731 сказал:

Вот мой ) 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /wishlist
Disallow: /login
Disallow: /poisk/?filter_tag=
Disallow: /add-return/
Disallow: /affiliate-forgot-password/
Disallow: /brands/
Disallow: /compare-products/
Disallow: /create-account/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /search/?tag=
Disallow: /vouchers/
Disallow: /*search*
Disallow: /image/cache/
Disallow: /kw_application
Allow: /catalog/*.css
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

Спс

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Тоже плюсанул! :)

Спасибо что откликнулись)

 

Только вот когда перехожу по ссылке "http://familytea.com.ua/index.php?route=feed/google_sitemap" - пустая страница, так должно быть?

Разве не должно быть так "http://familytea.com.ua/sitemap.xml" ?

Изменено пользователем StereoSkifcha

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
39 минут назад, StereoSkifcha сказал:

Тоже плюсанул! :)

Спасибо что откликнулись)

 

Только вот когда перехожу по ссылке "http://familytea.com.ua/index.php?route=feed/google_sitemap" - пустая страница, так должно быть?

Разве не должно быть так "http://familytea.com.ua/sitemap.xml" ?

Сгенерьте встроенным инструментом карту сайта или замените " index.php?route=feed/google_sitemap " на "sitemap.xml"

  • +1 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
16 минут назад, maxime сказал:

Сгенерьте встроенным инструментом карту сайта или замените " index.php?route=feed/google_sitemap " на "sitemap.xml"

 

Спасибо!)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Там наверху host прописали с протоколом http

Не совсем верно это. Протокол указывают только тогда, когда https

В остальных случаях пишется типа: 

host: site.ru

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

maxime, laim731, Приветствую вас)))

Ребята спасайте))) помогите тоже пожалуйста правильно настроить robot.txt)))

Сейчас он выглядит так:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Гугл ругается на это Clean-param: tracking

Помогите пожалуйста!!!)))

1)И сразу вопрос после исправления этот файл просто оставить в корневой папке?

2)если на сайте будет что то меняться например категория товар это будет влиять на этот файл?

Изменено пользователем StoreGadgets

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Все добрый вечер!

Подскажите правильно ли сделан файл тхт , почему справишиваю упало кол-во страниц в поиске как в яндексе так и в гугле. Может быть грешу,на то что была смена движка сайта и поменяны юрл страниц,но как в гугле так и в яндексе страницы есть под запретом индекса.Может плохо сделали мне файл.Посмотрите.Спасибо за совет

 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: galcom.com.ua

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Всем доброго вечера. Не пинайте сильно. Я только учусь и познаю азы. Возникли некие проблемы, которые сейчас опишу, и пришел к выводу, что всему виной файл robots я с ним ничего не делал, как он был изначально такой сейчас и есть. А проблема вот в чем. Создал новую категорию, сделал все как положено но вот что мне пишет Вебмастер (извиняюсь если не очень понятно выражаюсь) выдает две ссылки на одну из которых он метит 200 а вторую 301. Рисунок прилагается. Или это не из-за роботс и причина в другом? Еще как вариант думаю что у меня что то с сео-про, так как он есть у меня и включен но не работает. (Если полностью отключить сео про и в ручную прописывать урл? Может быть это поможет? 

А вторая проблема даже не знаю как описать. На картинки я подчеркнул, проблема с page (это я так понял точно проблема в роботс). 

Подскажите какой из представленных выше вариантов лучше прописать в роботс, или надо прописывать под себя и из выше представленных вариантов мне не подходит? 

Помогите пожалуйста, а то уже второй день пытаюсь понять но ни как не заходит. За ранее благодарен. 

 

333.png

444.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Доброе утро всем. 

После вчерашнего ковырялся думал кумека и нашел такой роботс подойдет мне? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=


User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking
Host: site.com

Sitemap: http://site.com/sitemap.xml

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вот только смущают строки по гуглу , нужны они не нужны, у вас п примерах немного по другому....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.