Перейти к содержанию
h2so42

robots.txt

Рекомендуемые сообщения

Мужики Господа Ребята помогите кто знает,как правильно составить robots txt.
Это роботс с моего сайта, главную страницу не выдаёт в яндексе
Что нужно поправить? 
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates




User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Clean-param: tracking

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Скиньте мне url вашего сайта, так как проблема явно не в robots.txt, хотя он и не совсем верный.

 

Мой скайп: inseonight

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Дубли

Нет описаний

"невидимый текст"

 

Что тут должно понравиться яндексу? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

и как быть ???

если того, что описал(ла) SouthBlondi нет на стр. сайта то попробуйте добавить ещё и это

Sitemap: http://вашсайт.ru/sitemap.xml

Host: вашсайт.ru

а вот это Clean-param: tracking

я б ваще удалил.

 и рекомендую работать над сайтом

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /specials/
Disallow: /checkout/


User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /specials/
Disallow: /checkout/


Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

под дублем что имеется ввиду  товар с сайта mairs.ru

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сделайте 301 редикт. У вас сайт дублируеься с www и без

Изменено пользователем n3bo

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

под дублем что имеется ввиду  товар с сайта mairs.ru

вам нужно оптимизировать свой сайт

и тогда всё будет норм.

чем быстрее тем лучше

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
User-agent: *
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /specials/
Disallow: /checkout/


User-agent: Yandex
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.png
Disallow: /?
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /admin
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /register/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /transactions/
Disallow: /order-history/
Disallow: /address-book/
Disallow: /my-account/
Disallow: /newsletter/
Disallow: /compare/
Disallow: /wishlist/
Disallow: /vouchers/
Disallow: /search/
Disallow: /specials/
Disallow: /checkout/


Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

 /catalog не нужно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Подскажите как открыть доступ к коду JavaScript и файлам CSS?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Подскажите как открыть доступ к коду JavaScript и файлам CSS?

Allow: /*.css

Allow: /*.js

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Добавлять нужно только в User-agent: или еще и в User-agent: Yandex? И подскажите, что за ошибку выдает гугл в robots "Clean-param: tracking"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Добавлять нужно только в User-agent: или еще и в User-agent: Yandex? И подскажите, что за ошибку выдает гугл в robots "Clean-param: tracking"?

так удали его

выше ж писал

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Allow: /*.css

Allow: /*.js

Добавил эти стили в robots.txt но в вебмастере все равно пишет в заблокированных ресурсах 422 стр. со стилями.Что еще может быть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ждать переиндексации поисковыми системами. Она же не мгновенно происходит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ждать переиндексации поисковыми системами. Она же не мгновенно происходит.

Думал сразу, вчера робот проиндексировал сайт. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для того ,что бы это происходило сразу,нужна регистрация магазина в вебмастерах гугл и яндекс.Где и можно сразу обновить данные о новом роботс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Зарегистрирован, ошибок в роботс.тхт нет, вчера робот проверил сайт, заблокированные страницы со стилями так и остались, единственное стало меньше на 20шт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу

×

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.