robots.txt

[Mivehi]

Всем привет, посоветуйте хороший robots.txt

[Mivehi]

Нашел интересный роботс:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /index.php?route=product/manufacturer/info&manufacturer_id=209
Disallow: /index.php?route=product/manufacturer/info&manufacturer_id=167
Sitemap:

[SiteMix]

1 час назад, Mivehi сказал:

Всем привет, посоветуйте хороший robots.txt

Чем штатный не устраивает?

 

9 минут назад, Mivehi сказал:

Disallow: /index.php?route=product/manufacturer/info&manufacturer_id=209 Disallow: /index.php?route=product/manufacturer/info&manufacturer_id=167

Это индивидуально.

[Andrew18]

Я вот так добавил

Disallow: /index.php

 

[Ngreen]

В 29.04.2021 в 11:37, Andrew18 сказал:

Я вот так добавил

Disallow: /index.php

 

Лучше добавьте редирект с index.php на без него. А то в очередное полнолуние поисковики могут ошибочно посчитать, что вы закрыли Главную от индексации. Это может дать печальный исход в плане индексации сайта.