Идеальный robots.txt

[Otvet]

Allow: /catalog/view/*

[bitterlemon]

немного поясню свое высказывание.

Любой робот сначала проверяет два файла robots.txt и sitemap.xml и лишь потом начинает шариться по всему сайту. Из этих файлов он берет список страниц сайта и инструкции, куда ему ходить и что делать . Если в структуре сайта нигде (ни на одной странице и в файлах robots.txt, sitemap.xml) нет прямой ссылки на админку (типа mysite.com/adminka/) то робот пройдет мимо админки. Поэтому запись

Disallow: /admin

не имеет смысла, мы пытаемся запретить доступ туда, куда робот и идти-то не собирался , а вот злоумышленникам подсказку даем. Вот как то так

 

 

Еще раз.

 

1) У меня как раз тот случай, когда админка имеет название не /admin, а /хрен-кому-скажу, и открыто показывать ее таким образом действительно не стоит. Тогда что, просто не указываем ?

 

2) Ссылки. ЧПУ , а не Disallow: /index.php?route=product/product*&manufacturer_id=.  - тоже не указываем?

 

3) /catalog,  /system - это оставлять?

 

4) sitemap  - как корректно :

 

Sitemap: http://мойдомен.com/index.php?route=feed/google_sitemap , или достаточно просто мойдомен.сом/sitemap.xml  ?  ...

Змінено 3 січня 2017 користувачем bitterlemon

[Avrel]

Кому не трудно гляньте мой файл. 

User-agent: *

Disallow: /*.css

Allow: /image/cache 

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /roshanvapebomb

Disallow: /cache

Disallow: /index.php?route=account

Disallow: /index.php?route=account/account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /*route=account/login

Disallow: /niks

Disallow: /catalog

Disallow: /download

Disallow: /export

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Disallow: /*?manufacturer

Disallow: /*?keyword

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /index.php?route=product/search

Disallow: /index.php?route=information/contact/captcha

Disallow: /index.php?route=information/information&information_id=

Disallow: /index.php?route=account/login

Disallow: /*route=checkout/cart

Disallow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /uploads/products/3667/570e3e3e9b80e.jpg

Disallow: /uploads/products/2598/56444fb69297a.jpg

Disallow: /uploads/products/3497/56e7f3fb76881.jpg

Disallow: /model/818-genesis-bm-5x100-8-0x18-35-72-6

Disallow: /uploads/products/3498/56e7f407cca11.jpg

Disallow: /model/818-genesis-black-5x112-8-0x18-35-66-6

Disallow: /model/818-genesis-black-diamond-5x108-8-0x18-42-72-6

Disallow: /uploads/products/3499/56e7f425d4ce8.jpg

Disallow: /uploads/products/3501/56e7f43b95a2f.jpg

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-35-66-6

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-66-6

Disallow: /uploads/products/3500/56e7f41c58219.jpg

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-66-6

Disallow: /uploads/products/1765/54194663e8b53.jpg

Disallow: /model/818-genesis-gm-5x112-8-0x18-40-66-6

Disallow: /uploads/products/3666/570e3e2eb80a0.jpg

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-67-1

Disallow: /uploads/products/2728/56c322b2ac5f5.jpg

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-72-6

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-72-6

Disallow: /model/818-genesis-black-diamond-5x114-3-8-0x18-40-67-1

Disallow: /model/818-genesis-gm-5x114-3-8-0x18-40-67-1

Disallow: /uploads/products/1774/541959a33065c.jpg

Disallow: /model/818-genesis-gmd-5x114-3-8-0x18-40-67-1

Disallow: /uploads/products/2648/56444ff3a0e32.jpg

Disallow: /model/4043

Disallow: /model/818-genesis-black-diamond-5x120-8-0x18-40-72-6

Disallow: /model/818-genesis-bm-5x120-8-0x18-40-72-6

Disallow: /uploads/products/3926/580eeab4b02b9.jpg

Disallow: /model/818-genesis-gm-5x120-8-0x18-40-72-6

Disallow: /uploads/products/3927/580eeabeb0665.jpg

Disallow: /model/4044

Disallow: /uploads/products/3930/580eeadae0dad.jpg

Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-35-66-6

Disallow: /uploads/products/3932/580eeaf007d46.jpg

Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-42-66-6

Disallow: /model/2018-genesis-bm-5x112-8-5x20-42-66-6

Disallow: /uploads/products/3928/580eeac6de4c3.jpg

Disallow: /model/2018-genesis-bmd-5x112-8-5x20-35-66-6

Disallow: /uploads/products/3931/580eeae3c26c9.jpg

Disallow: /model/2018-genesis-gm-5x112-8-5x20-42-66-6

Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-45-72-6

Disallow: /model/2018-genesis-bm-5x112-8-5x20-45-72-6

Disallow: /uploads/products/3929/580eead044953.jpg

Disallow: /model/2018-genesis-gm-5x112-8-5x20-45-72-6

Disallow: /model/2018-genesis-gmd-5x112-8-5x20-45-72-6

Disallow: /model/2018-genesis-black-diamond-5x114-3-8-5x20-35-60-1

Disallow: /model/2018-genesis-gm-5x114-3-8-5x20-45-67-1

Disallow: /model/2018-genesis-silver-5x114-3-8-5x20-45-67-1

Disallow: /static/img/prv.png

Disallow: /model/2018-genesis-gmd-5x120-8-5x20-45-72-6

Disallow: /model/3966

Disallow: /uploads/products/3932/580eeaf007d46.jpg

Disallow: /uploads/products/3931/580eeae3c26c9.jpg

Disallow: /uploads/products/3930/580eeadae0dad.jpg

Disallow: /uploads/products/3929/580eead044953.jpg

Disallow: /uploads/products/3928/580eeac6de4c3.jpg

Disallow: /uploads/products/3927/580eeabeb0665.jpg

Disallow: /uploads/products/3926/580eeab4b02b9.jpg

Disallow: /uploads/products/3667/570e3e3e9b80e.jpg

Disallow: /uploads/products/3666/570e3e2eb80a0.jpg

Disallow: /uploads/products/3501/56e7f43b95a2f.jpg

Disallow: /uploads/products/3500/56e7f41c58219.jpg

Disallow: /uploads/products/3499/56e7f425d4ce8.jpg

Disallow: /uploads/products/3498/56e7f407cca11.jpg

Disallow: /uploads/products/3497/56e7f3fb76881.jpg

Disallow: /uploads/products/2728/56c322b2ac5f5.jpg

Disallow: /uploads/products/2648/56444ff3a0e32.jpg

Disallow: /uploads/products/2598/56444fb69297a.jpg

Disallow: /uploads/products/1774/541959a33065c.jpg

Disallow: /uploads/products/1765/54194663e8b53.jpg

Disallow: /model/818-genesis-gmd-5x114-3-8-0x18-40-67-1

Disallow: /model/818-genesis-gm-5x120-8-0x18-40-72-6

Disallow: /model/818-genesis-gm-5x114-3-8-0x18-40-67-1

Disallow: /model/818-genesis-gm-5x112-8-0x18-40-66-6

Disallow: /model/818-genesis-bm-5x120-8-0x18-40-72-6

Disallow: /model/818-genesis-bm-5x100-8-0x18-35-72-6

Disallow: /model/818-genesis-black-diamond-5x120-8-0x18-40-72-6

Disallow: /model/818-genesis-black-diamond-5x114-3-8-0x18-40-67-1

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-72-6

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-66-6

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-72-6

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-67-1

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-66-6

Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-35-66-6

Disallow: /model/818-genesis-black-diamond-5x108-8-0x18-42-72-6

Disallow: /model/818-genesis-black-5x112-8-0x18-35-66-6

Disallow: /model/4044

Disallow: /model/4043

Disallow: /model/3966

Disallow: /model/2018-genesis-silver-5x114-3-8-5x20-45-67-1

Disallow: /model/2018-genesis-gmd-5x120-8-5x20-45-72-6

Disallow: /model/2018-genesis-gmd-5x112-8-5x20-45-72-6

Disallow: /model/2018-genesis-gm-5x114-3-8-5x20-45-67-1

Disallow: /model/2018-genesis-gm-5x112-8-5x20-45-72-6

Disallow: /model/2018-genesis-gm-5x112-8-5x20-42-66-6

Disallow: /model/2018-genesis-bmd-5x112-8-5x20-35-66-6

Disallow: /model/2018-genesis-bm-5x112-8-5x20-45-72-6

Disallow: /model/2018-genesis-bm-5x112-8-5x20-42-66-6

Disallow: /model/2018-genesis-black-diamond-5x114-3-8-5x20-35-60-1

Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-45-72-6

Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-42-66-6

Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-35-66-6

Disallow: /index.php?route=information/information/info&information_id=5

Disallow: /diski-na-avto/audi-1/?page=2

Disallow: /diski-na-avto/audi-1/?page=3

Disallow: /diski-na-avto/audi-1/?page=4

Disallow: /diski-na-avto/audi-1/?page=5

Disallow: /diski-na-avto/audi-1/?page=6

Disallow: /diski-na-avto/audi-1/?page=7

Disallow: /diski-na-avto/audi-1/?page=8

Disallow: /diski-na-avto/audi-1/?page=9

Disallow: /diski-na-avto/audi-1/?page=10

Disallow: /diski-na-avto/audi-1/?page=11

Disallow: /diski-na-avto/audi-1/?page=12

Disallow: /diski-na-avto/audi-1/?page=13

Disallow: /diski-na-avto/audi-1/?page=14

Disallow: /diski-na-avto/audi-1/?page=15

Disallow: /diski-na-avto/audi-1/?page=16

Disallow: /diski-na-avto/audi-1/?page=17

Disallow: /diski-na-avto/audi-1/?page=18

Disallow: /diski-na-avto/audi-1/?page=19

Disallow: /diski-na-avto/audi-1/?page=20

Disallow: /diski-na-avto/audi-1/?page=21

Disallow: /diski-na-avto/audi-1/?page=22

Disallow: /diski-na-avto/audi-1/?page=23

Disallow: /diski-na-avto/audi-1/?page=24

Disallow: /diski-na-avto/audi-1/?page=25

Disallow: /diski-na-avto/audi-1/?page=26

Disallow: /diski-na-avto/audi-1/?page=27

Disallow: /diski-na-avto/audi-1/?page=28

Disallow: /diski-na-avto/bmw-1/?page=2

Disallow: /diski-na-avto/bmw-1/?page=3

Disallow: /diski-na-avto/bmw-1/?page=4

Disallow: /diski-na-avto/bmw-1/?page=5

Disallow: /diski-na-avto/bmw-1/?page=6

Disallow: /diski-na-avto/bmw-1/?page=7

Disallow: /diski-na-avto/bmw-1/?page=8

Disallow: /diski-na-avto/bmw-1/?page=9

Disallow: /diski-na-avto/bmw-1/?page=10

Disallow: /diski-na-avto/bmw-1/?page=11

Disallow: /diski-na-avto/bmw-1/?page=12

Disallow: /diski-na-avto/bmw-1/?page=13

Disallow: /diski-na-avto/bmw-1/?page=14

Disallow: /diski-na-avto/bmw-1/?page=15

Disallow: /diski-na-avto/bmw-1/?page=16

Disallow: /diski-na-avto/bmw-1/?page=17

Disallow: /diski-na-avto/bmw-1/?page=18

Disallow: /diski-na-avto/bmw-1/?page=19

Disallow: /diski-na-avto/bmw-1/?page=20

Disallow: /diski-na-avto/bmw-1/?page=30

Disallow: /diski-na-avto/chevrolet-1/?page=2

Disallow: /diski-na-avto/chevrolet-1/?page=3

Disallow: /diski-na-avto/chevrolet-1/?page=4

Disallow: /diski-na-avto/citroen-1/?page=2

Disallow: /diski-na-avto/citroen-1/?page=3

Disallow: /diski-na-avto/citroen-1/?page=4

Disallow: /diski-na-avto/citroen-1/?page=5

Disallow: /diski-na-avto/ford-1/?page=2

Disallow: /diski-na-avto/ford-1/?page=3

Disallow: /diski-na-avto/ford-1/?page=4

Disallow: /diski-na-avto/ford-1/?page=5

Disallow: /diski-na-avto/honda-1/?page=2

Disallow: /diski-na-avto/honda-1/?page=3

Disallow: /diski-na-avto/hyundai-1/?page=2

Disallow: /diski-na-avto/hyundai-1/?page=3

Disallow: /diski-na-avto/hyundai-1/?page=4

Disallow: /diski-na-avto/infiniti-1/?page=2

Disallow: /diski-na-avto/jeep-1/?page=2

Disallow: /diski-na-avto/kia-1/?page=2

Disallow: /diski-na-avto/kia-1/?page=3

Disallow: /diski-na-avto/kia-1/?page=4

Disallow: /diski-na-avto/kia-1/?page=5

Disallow: /diski-na-avto/land-rover/?page=2

Disallow: /diski-na-avto/lexus-1/?page=2

Disallow: /diski-na-avto/lexus-1/?page=3

Disallow: /diski-na-avto/mazda-1/?page=2

Disallow: /diski-na-avto/mazda-1/?page=3

Disallow: /diski-na-avto/mazda-1/?page=4

Disallow: /diski-na-avto/mazda-1/?page=5

Disallow: /diski-na-avto/mitsubishi-1/?page=2

Disallow: /diski-na-avto/mitsubishi-1/?page=3

Disallow: /diski-na-avto/nissan-1/?page=2

Disallow: /diski-na-avto/nissan-1/?page=3

Disallow: /diski-na-avto/nissan-1/?page=4

Disallow: /diski-na-avto/opel-1/?page=2

Disallow: /diski-na-avto/opel-1/?page=3

Disallow: /diski-na-avto/opel-1/?page=4

Disallow: /diski-na-avto/opel-1/?page=5

Disallow: /diski-na-avto/opel-1/?page=6

Disallow: /diski-na-avto/opel-1/?page=7

Disallow: /diski-na-avto/opel-1/?page=8

Disallow: /diski-na-avto/peugeot-1/?page=2

Disallow: /diski-na-avto/peugeot-1/?page=3

Disallow: /diski-na-avto/peugeot-1/?page=4

Disallow: /diski-na-avto/porsche-1/?page=2

Disallow: /diski-na-avto/porsche-1/?page=3

Disallow: /diski-na-avto/porsche-1/?page=4

Disallow: /diski-na-avto/renault-1/?page=2

Disallow: /diski-na-avto/renault-1/?page=3

Disallow: /diski-na-avto/seat-1/?page=2

Disallow: /diski-na-avto/seat-1/?page=3

Disallow: /diski-na-avto/seat-1/?page=4

Disallow: /diski-na-avto/skoda-1/?page=2

Disallow: /diski-na-avto/skoda-1/?page=3

Disallow: /diski-na-avto/skoda-1/?page=4

Disallow: /diski-na-avto/skoda-1/?page=5

Disallow: /diski-na-avto/skoda-1/?page=6

Disallow: /diski-na-avto/skoda-1/?page=7

Disallow: /diski-na-avto/skoda-1/?page=8

Disallow: /diski-na-avto/skoda-1/?page=9

Disallow: /diski-na-avto/skoda-1/?page=10

Disallow: /diski-na-avto/skoda-1/?page=11

Disallow: /diski-na-avto/skoda-1/?page=12

Disallow: /diski-na-avto/skoda-1/?page=13

Disallow: /diski-na-avto/skoda-1/?page=14

Disallow: /diski-na-avto/skoda-1/?page=15

Disallow: /diski-na-avto/skoda-1/?page=16

Disallow: /diski-na-avto/skoda-1/?page=17

Disallow: /diski-na-avto/skoda-1/?page=18

Disallow: /diski-na-avto/skoda-1/?page=19

Disallow: /diski-na-avto/skoda-1/?page=20

Disallow: /diski-na-avto/skoda-1/?page=21

Disallow: /diski-na-avto/subaru-1/?page=2

Disallow: /diski-na-avto/toyota-1/?page=2

Disallow: /diski-na-avto/toyota-1/?page=3

Disallow: /diski-na-avto/toyota-1/?page=4

Disallow: /diski-na-avto/toyota-1/?page=5

Disallow: /diski-na-avto/toyota-1/?page=6

Disallow: /diski-na-avto/volkswagen-1/?page=2

Disallow: /diski-na-avto/volkswagen-1/?page=3

Disallow: /diski-na-avto/volkswagen-1/?page=4

Disallow: /diski-na-avto/volkswagen-1/?page=5

Disallow: /diski-na-avto/volkswagen-1/?page=6

Disallow: /diski-na-avto/volkswagen-1/?page=7

Disallow: /diski-na-avto/volkswagen-1/?page=8

Disallow: /diski-na-avto/volkswagen-1/?page=9

Disallow: /diski-na-avto/volkswagen-1/?page=10

Disallow: /diski-na-avto/volkswagen-1/?page=11

Disallow: /diski-na-avto/volkswagen-1/?page=12

Disallow: /diski-na-avto/volkswagen-1/?page=13

Disallow: /diski-na-avto/volkswagen-1/?page=14

Disallow: /diski-na-avto/volkswagen-1/?page=15

Disallow: /diski-na-avto/volkswagen-1/?page=16

Disallow: /diski-na-avto/volkswagen-1/?page=17

Disallow: /diski-na-avto/volkswagen-1/?page=18

Disallow: /diski-na-avto/volkswagen-1/?page=19

Disallow: /diski-na-avto/volkswagen-1/?page=20

Disallow: /diski-na-avto/volkswagen-1/?page=21

Disallow: /diski-na-avto/volkswagen-1/?page=22

Disallow: /diski-na-avto/volkswagen-1/?page=23

Disallow: /diski-na-avto/volkswagen-1/?page=24

Disallow: /diski-na-avto/volkswagen-1/?page=25

Disallow: /diski-na-avto/volkswagen-1/?page=26

Disallow: /diski-na-avto/volkswagen-1/?page=27

Disallow: /diski-na-avto/volkswagen-1/?page=28

Disallow: /diski-na-avto/volvo-1/?page=2

Disallow: /diski-na-avto/volvo-1/?page=3

Disallow: /diski-na-avto/volvo-1/?page=4

Disallow: /diski-na-avto/mercedes-1/?page=2

Disallow: /diski-na-avto/mercedes-1/?page=3

Disallow: /diski-na-avto/mercedes-1/?page=4

Disallow: /diski-na-avto/mercedes-1/?page=5

Disallow: /diski-na-avto/mercedes-1/?page=6

Disallow: /diski-na-avto/mercedes-1/?page=7

Disallow: /diski-na-avto/mercedes-1/?page=8

Disallow: /diski-na-avto/mercedes-1/?page=9

Disallow: /diski-na-avto/mercedes-1/?page=10

Disallow: /diski-na-avto/mercedes-1/?page=11

Disallow: /diski-na-avto/mercedes-1/?page=12

Disallow: /diski-na-avto/mercedes-1/?page=13

Disallow: /disla/?page=2

Disallow: /allante/?page=2

Disallow: /trw/?page=2

Disallow: /trw/?page=3

Disallow: /trw/?page=4

Disallow: /vossen-1/?page=2

Disallow: /vossen-1/?page=3

Disallow: /zw-2/?page=2

Disallow: /zw-2/?page=3

Disallow: /zw-2/?page=4

Disallow: /zw-2/?page=5

Disallow: /zw-2/?page=6

Disallow: /zw-2/?page=7

Disallow: /zw-2/?page=8

Disallow: /zw-2/?page=9

Disallow: /zw-2/?page=10

Disallow: /zw-2/?page=11

Disallow: /zw-2/?page=12

Disallow: /zw-2/?page=13

Disallow: /zw-2/?page=14

Disallow: /zw-2/?page=15

Disallow: /zw-2/?page=16

Disallow: /zw-2/?page=17

Disallow: /zw-2/?page=18

Disallow: /zw-2/?page=19

Disallow: /zw-2/?page=20

Disallow: /yokatta-rays/?page=2

Disallow: /stalnye-diski/?page=2

Disallow: /stalnye-diski/?page=3

Disallow: /diski-na-avto/acura-1/

Disallow: /diski-na-avto/cadillac-1/

Disallow: /diski-na-avto/chery-1/

Disallow: /diski-na-avto/dodge-1/

Disallow: /simplecheckout/

Disallow: /forgot-password/

Disallow: /tajvan.html

Disallow: /diski-na-avto/?page=23

Host: https://мой сайт.com.ua

Змінено 7 січня 2017 користувачем Avrel

[RubenS]

Мое мнение про прятание админки в robots.txt.

 

Если она у вас стандартная (../admin/), то только начинающий хакер не знает ее урл в opencart и сделать на запрет на нее для роботов не страшно.

Но если она у вас другая и на нее (или из нее) нет ссылок на другие ресурсы со счетчиками (а сейчас они стоят почти на всех сайтах) то лучше ее не светить.

 

Для пущей безопасности, данную папку можно запаролить средствами веб-сервера (http://www.softtime.ru/info/apache.php?id_article=27)

 

И еще, для opencart есть модуль Simple Login Security повышающий безопасность входа в админку.

 

Вот тут я немного сомневаюсь, так ли это:

почти все существующие браузеры перед входом на страницу в введенную в строке урл сначала бегут в установленный в нем поисковик, т.е. поисковик все равно знает о вашей секретной странице!

 

!!! Всегда устанавливайте сложные пароли и проверяйте логи админки !!!

[bitterlemon]

 

Но если она у вас другая и на нее (или из нее) нет ссылок на другие ресурсы со счетчиками (а сейчас они стоят почти на всех сайтах) то лучше ее не светить.

 

Ну да, я тоже так думаю. Любой дурак откроет robots и сразу поймет , где админка. Оно нам надо? ...

[Blow]

какой параметр в robots отвечает за ссылки в индексе отсортированные по разному?
В индекс залилась одна категория сайта с окончаниями вида:
 

/?limit=25&page=2

/?page=%7Bpage%7D

/?limit=21&page=3

/?limit=21&page=2

/?sort=rating&order=DESC&page=2

/?sort=rating&order=ASC&page=2

/?sort=rating&order=DESC&page=3

/?sort=rating&order=ASC&page=3

/?sort=pd.name&order=DESC&page=2

/?sort=p.price&order=ASC&page=2

/?sort=p.model&order=ASC&page=2

/?sort=p.price&order=ASC&page=3

/?sort=p.price&order=DESC&page=2

/?sort=p.model&order=DESC&page=2

/?sort=pd.name&order=DESC&page=3

Вредно ли это для категории?
По сути одна страница по разному отсортированная 

полагаю: Эти?

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

 

Что делать с теми ссылками которые уже в индексе после того как отредактировал robots?
Ждать пока поисковики сами удалят или вручную просить удалить их у поисковиков?

Змінено 9 січня 2017 користувачем Blow

[florapraktik]

 

 

Что делать с теми ссылками которые уже в индексе после того как отредактировал robots?

Ждать пока поисковики сами удалят или вручную просить удалить их у поисковиков?

 

Ничего не делать. Это не косяк. :-)

[Blow]

Ничего не делать. Это не косяк. :-)

Спасибо) а то у меня из за  роботса "/каталог" заблокировал кучу страниц и я паникую сейчас в ожидании разблокировки.

[Blow]

Гугл продолжает блокировать ресурсы. На заблокированных ресурсах подсвечивает зеленым параметр allow/catalog 
То есть по идее не должен блокировать.
Проблема именно в catalog
Как только удаляю robots количество заблокированных страниц падает

Мой robots:
 

User-agent: *

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Allow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

 

User-agent: Yandex

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

Disallow: /admin

Allow: /catalog

Disallow: /download

Disallow: /system

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

Host: 

Sitemap:

[florapraktik]

 

Гугл продолжает блокировать ресурсы. 

...

Проблема именно в catalog

 

 

...

Disallow: /catalog

...

 

Потом, в конце списка запретов идут разрешения (открытия):

 

Allow: /catalog/view/javascript

Allow: /catalog/view/image

Allow: /catalog/view/stylesheet

Allow: /catalog/view/*/javascript

Allow: /catalog/view/*/image

Allow: /catalog/view/*/stylesheet

 

Вот так мне открыли скрипты, стили и картинки. А сам каталог, как видите, закрыт.

 

Что Вы называете "блокирует"? Он и должен блокировать всё лишнее. В этом смысл, как бы.

Змінено 16 січня 2017 користувачем florapraktik

[Blow]

...

Disallow: /catalog

...

 

Потом, в конце списка запретов идут разрешения (открытия):

 

Allow: /catalog/view/javascript

Allow: /catalog/view/image

Allow: /catalog/view/stylesheet

Allow: /catalog/view/*/javascript

Allow: /catalog/view/*/image

Allow: /catalog/view/*/stylesheet

 

Вот так мне открыли скрипты, стили и картинки. А сам каталог, как видите, закрыт.

 

Что Вы называете "блокирует"? Он и должен блокировать всё лишнее. В этом смысл, как бы.

 

 

Заблокировано в файле robots.txt

Должен блокировать то что не нужно, а не страницы с товарами правильно ведь? В списке заблокированных именно страницы товаров, а не админки и прочего...

Спасибо за решение. Попробую.

 

[Blow]

Кто нибудь ответьте пожалуйста почему нежелательно разрешать доступ к каталогу (Allow: /catalog) чем чревато?

[florapraktik]

Кто нибудь ответьте пожалуйста почему нежелательно разрешать доступ к каталогу (Allow: /catalog) чем чревато?

Присоединяюсь к вопросу!

 

Как раз сидел и думал. Попробовал зайти в каталог через строку браузера в ответ получил:

You don't have permission to access /catalog/ on this server.

Т.е., меня туда не пустили. А роботов пускают? И вообще, как они туда попадают?

Были разговоры про админку, типа: "не надо, закрывать админку от роботов, ибо ибо они о ней и так не знают".

ОК, а про /catalog знают? Откуда?

 

ПыСы. Кажется, понял - из ссылок в хеде, вот откуда!

Выходит, надо закрывать, что бы бот не заблудился во всех этих вкумодах и кешах?

С другой стороны, а про вкумоды и кеши он откуда знает?

 

Blow, а какие урлы у Ваших "заблокированных страниц".

Как Вы сделали вывод, что закрыли роботам полезные страницы?

Когда Вы делаете "посмотреть как гуглебот", то что Вам отвечают?

Змінено 16 січня 2017 користувачем florapraktik

[Otvet]

не везде catalog отдает 403

иногда открывается дерево категорий с файлами (Options Indexes)

 

а попадают туда часто по старой ссылке (другая cms была, перешли на опенкарт)

[Blow]

 

Blow, а какие урлы у Ваших "заблокированных страниц".

Как Вы сделали вывод, что закрыли роботам полезные страницы?

Когда Вы делаете "посмотреть как гуглебот", то что Вам отвечают?

 

опять зря паникую походу.

В расширенных данных (статусы индексирования) показал что поползли вверх заблокированные.

Днём позже. В "Заблокированных ресурсах" поползли вниз. 

Это просто с allow/catalog

Сейчас пробую с тем что Вы посоветовали только ещё надо было открыть там "Allow: /catalog/view/theme/"

 

Когда смотрел как гуглебот c allow/catalog он (бот) отображал нормально страницу так как полагается и в нем не было заблокированных файлов и скриптов.

Просто удивился почему поползли вверх заблокированные. Сейчас думаю что без robots он добавил в индекс бесполезные страницы, и с robots и allow/catalog

начал блокировать бесполезные и у меня бомбануло. Потому что в списке заблокированных пока что отображаются именно полезные страницы с товарами. 

Причем в блок попали и новые страницы которые были добавлены уже при allow/catalog

отсюда и смутился 

 

Змінено 17 січня 2017 користувачем Blow

[florapraktik]

Верните на место свой роботс.тхт с закрытым catalog, но добавьте в конце списка то, что я написал - откроете скрипты, стили и картинки.

Потом скормите "посмотреть как гуглебот" урлы со страницы товара, со страницы категории и что Вы там ещё хотите ему показать. И почитайте, что скажет.

Всё нормально должно быть, по идее.

То, что в результате Ваших экспериментов были проиндексированы лишние дубли, то это не влияет на поисковый рейтинг сайта (если Вас это беспокоит).

 

На будущее: привыкайте аккуратней с экспериментами - не делайте телодвижений, смысла которых не понимаете (зачем было сносить роботс.тхт?).

[Blow]

Верните на место свой роботс.тхт с закрытым catalog, но добавьте в конце списка то, что я написал - откроете скрипты, стили и картинки.

Потом скормите "посмотреть как гуглебот" урлы со страницы товара, со страницы категории и что Вы там ещё хотите ему показать. И почитайте, что скажет.

Всё нормально должно быть, по идее.

То, что в результате Ваших экспериментов были проиндексированы лишние дубли, то это не влияет на поисковый рейтинг сайта (если Вас это беспокоит).

 

На будущее: привыкайте аккуратней с экспериментами - не делайте телодвижений, смысла которых не понимаете (зачем было сносить роботс.тхт?).

 Перенес сайт на новый OpenCart (с 1.5 на 2.3) и на другой сервер и шаблон новый. По умолчанию в новом open cart,  Robots небыло. Когда закинул не обратил внимание что она начал блокать всё подряд. Для этого и снёс. 

Да так как Вы написали и сделал. + добавил это  "Allow: /catalog/view/theme/"

Матюкался робот на это

[Delight]

Добрый день!

В проверке ответа сервера, всех страниц категорий и товаров, выдает следующее:

Данный URL запрещён к индексированию в файле robots.txt 

файл robots.txt стандартный, только добавлены host и sitemap.

Подскажите пожалуйста, в чем может быть проблема?

[Delight]

1 час назад, Delight сказал:

Добрый день!

В проверке ответа сервера, всех страниц категорий и товаров, выдает следующее:

Данный URL запрещён к индексированию в файле robots.txt 

файл robots.txt стандартный, только добавлены host и sitemap.

Подскажите пожалуйста, в чем может быть проблема?

Прошу прощения, разобрался

[yaros888]

Подскажите  в яндексе 2000 страниц  и  гугле 3300 страниц при этом товара на сайта около 2000 товаров  это нормально или файл тхт не правильно сделали. Подскажите т.к. в этом не особо силен .файл ниже. Спасибо за ответ

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: galcom.com.ua

[AlfredS]

А зачем вот это все дублируется?

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

Разве нельзя так написать?

Disallow: /*sort

Disallow: /*order

Disallow: /*limit

и тд.

 

А эта строка Disallow: /index.php?route=product/product*&manufacturer_id=

равнозначна вот этой Disallow: /index.php?route=product/product

Так что может так?

Disallow: /*manufacturer_id

Змінено 1 серпня 2017 користувачем AlfredS

[storer]

Всем привет.

Посмотрите мой robots.txt, кому не трудно. Может что-то поправить нужно.

 

Яндекс.Вебмастер выдает такие результаты:

Загруженные страницы - 1013
Страницы в поиске - 504
Исключённые страницы - 9

 

User-agent: *
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /.well-known
Disallow: /smslog
Disallow: /cgi-bin/
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /404
Disallow: /route=account/*
Disallow: /route=account/login*
Disallow: /route=checkout/*
Disallow: /route=checkout/cart*
Disallow: /route=affiliate/*
Disallow: /route=product/search*
Disallow: /route=uni_blog/search*
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product*
Disallow: /index.php?route=caregory*
Disallow: /index.php?route=manufacturer*
Disallow: /?page=*
Disallow: /?sort=*
Disallow: /?sort*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /?order*
Disallow: /&order=*
Disallow: /?limit=*
Disallow: /&limit=*
Disallow: /?filter_name=*
Disallow: /&filter_name=*
Disallow: /?filter_sub_category=*
Disallow: /&filter_sub_category=*
Disallow: /?filter_description=*
Disallow: /&filter_description=*
Disallow: /?tracking=*
Disallow: /&tracking=*
Disallow: /?manufacturer*
Disallow: /?keyword*
Disallow: /?tag=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Sitemap: site.ru/sitemap.xml

 

User-agent: Yandex
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /.well-known
Disallow: /smslog
Disallow: /cgi-bin/
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /404
Disallow: /route=account/*
Disallow: /route=account/login*
Disallow: /route=checkout/*
Disallow: /route=checkout/cart*
Disallow: /route=affiliate/*
Disallow: /route=product/search*
Disallow: /route=uni_blog/search*
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product*
Disallow: /index.php?route=caregory*
Disallow: /index.php?route=manufacturer*
Disallow: /?page=*
Disallow: /?sort=*
Disallow: /?sort*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /?order*
Disallow: /&order=*
Disallow: /?limit=*
Disallow: /&limit=*
Disallow: /?filter_name=*
Disallow: /&filter_name=*
Disallow: /?filter_sub_category=*
Disallow: /&filter_sub_category=*
Disallow: /?filter_description=*
Disallow: /&filter_description=*
Disallow: /?tracking=*
Disallow: /&tracking=*
Disallow: /?manufacturer*
Disallow: /?keyword*
Disallow: /?tag=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Host: site.ru
Sitemap: site.ru/yandex.xml

Змінено 22 вересня 2017 користувачем storer