Перейти к публикации
Поиск в
  • Дополнительно...
Искать результаты, содержащие...
Искать результаты в...

Идеальный robots.txt


Рекомендованные сообщения

немного поясню свое высказывание.

Любой робот сначала проверяет два файла robots.txt и sitemap.xml и лишь потом начинает шариться по всему сайту. Из этих файлов он берет список страниц сайта и инструкции, куда ему ходить и что делать smile.png . Если в структуре сайта нигде (ни на одной странице и в файлах robots.txt, sitemap.xml) нет прямой ссылки на админку (типа mysite.com/adminka/) то робот пройдет мимо админки. Поэтому запись

Disallow: /admin
не имеет смысла, мы пытаемся запретить доступ туда, куда робот и идти-то не собирался smile.png , а вот злоумышленникам подсказку даем. Вот как то так wink.png

 

 

Еще раз.

 

1) У меня как раз тот случай, когда админка имеет название не /admin, а /хрен-кому-скажу, и открыто показывать ее таким образом действительно не стоит. Тогда что, просто не указываем ?

 

2) Ссылки. ЧПУ , а не Disallow: /index.php?route=product/product*&manufacturer_id=.  - тоже не указываем?

 

3) /catalog,  /system - это оставлять?

 

4) sitemap  - как корректно :

 

Sitemap: http://мойдомен.com/index.php?route=feed/google_sitemap , или достаточно просто мойдомен.сом/sitemap.xml  ?  ...

Изменено пользователем bitterlemon
Ссылка на комментарий
Поделиться на других сайтах


Кому не трудно гляньте мой файл. 

User-agent: *
Disallow: /*.css
Allow: /image/cache 
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /roshanvapebomb
Disallow: /cache
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /*route=account/login
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=checkout/cart
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /uploads/products/3667/570e3e3e9b80e.jpg
Disallow: /uploads/products/2598/56444fb69297a.jpg
Disallow: /uploads/products/3497/56e7f3fb76881.jpg
Disallow: /model/818-genesis-bm-5x100-8-0x18-35-72-6
Disallow: /uploads/products/3498/56e7f407cca11.jpg
Disallow: /model/818-genesis-black-5x112-8-0x18-35-66-6
Disallow: /model/818-genesis-black-diamond-5x108-8-0x18-42-72-6
Disallow: /uploads/products/3499/56e7f425d4ce8.jpg
Disallow: /uploads/products/3501/56e7f43b95a2f.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-35-66-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-66-6
Disallow: /uploads/products/3500/56e7f41c58219.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-66-6
Disallow: /uploads/products/1765/54194663e8b53.jpg
Disallow: /model/818-genesis-gm-5x112-8-0x18-40-66-6
Disallow: /uploads/products/3666/570e3e2eb80a0.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-67-1
Disallow: /uploads/products/2728/56c322b2ac5f5.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-72-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-72-6
Disallow: /model/818-genesis-black-diamond-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-gm-5x114-3-8-0x18-40-67-1
Disallow: /uploads/products/1774/541959a33065c.jpg
Disallow: /model/818-genesis-gmd-5x114-3-8-0x18-40-67-1
Disallow: /uploads/products/2648/56444ff3a0e32.jpg
Disallow: /model/4043
Disallow: /model/818-genesis-black-diamond-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-bm-5x120-8-0x18-40-72-6
Disallow: /uploads/products/3926/580eeab4b02b9.jpg
Disallow: /model/818-genesis-gm-5x120-8-0x18-40-72-6
Disallow: /uploads/products/3927/580eeabeb0665.jpg
Disallow: /model/4044
Disallow: /uploads/products/3930/580eeadae0dad.jpg
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-35-66-6
Disallow: /uploads/products/3932/580eeaf007d46.jpg
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-42-66-6
Disallow: /uploads/products/3928/580eeac6de4c3.jpg
Disallow: /model/2018-genesis-bmd-5x112-8-5x20-35-66-6
Disallow: /uploads/products/3931/580eeae3c26c9.jpg
Disallow: /model/2018-genesis-gm-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-45-72-6
Disallow: /uploads/products/3929/580eead044953.jpg
Disallow: /model/2018-genesis-gm-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-gmd-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-black-diamond-5x114-3-8-5x20-35-60-1
Disallow: /model/2018-genesis-gm-5x114-3-8-5x20-45-67-1
Disallow: /model/2018-genesis-silver-5x114-3-8-5x20-45-67-1
Disallow: /static/img/prv.png
Disallow: /model/2018-genesis-gmd-5x120-8-5x20-45-72-6
Disallow: /model/3966
Disallow: /uploads/products/3932/580eeaf007d46.jpg
Disallow: /uploads/products/3931/580eeae3c26c9.jpg
Disallow: /uploads/products/3930/580eeadae0dad.jpg
Disallow: /uploads/products/3929/580eead044953.jpg
Disallow: /uploads/products/3928/580eeac6de4c3.jpg
Disallow: /uploads/products/3927/580eeabeb0665.jpg
Disallow: /uploads/products/3926/580eeab4b02b9.jpg
Disallow: /uploads/products/3667/570e3e3e9b80e.jpg
Disallow: /uploads/products/3666/570e3e2eb80a0.jpg
Disallow: /uploads/products/3501/56e7f43b95a2f.jpg
Disallow: /uploads/products/3500/56e7f41c58219.jpg
Disallow: /uploads/products/3499/56e7f425d4ce8.jpg
Disallow: /uploads/products/3498/56e7f407cca11.jpg
Disallow: /uploads/products/3497/56e7f3fb76881.jpg
Disallow: /uploads/products/2728/56c322b2ac5f5.jpg
Disallow: /uploads/products/2648/56444ff3a0e32.jpg
Disallow: /uploads/products/2598/56444fb69297a.jpg
Disallow: /uploads/products/1774/541959a33065c.jpg
Disallow: /uploads/products/1765/54194663e8b53.jpg
Disallow: /model/818-genesis-gmd-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-gm-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-gm-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-gm-5x112-8-0x18-40-66-6
Disallow: /model/818-genesis-bm-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-bm-5x100-8-0x18-35-72-6
Disallow: /model/818-genesis-black-diamond-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-black-diamond-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-72-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-66-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-72-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-67-1
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-66-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-35-66-6
Disallow: /model/818-genesis-black-diamond-5x108-8-0x18-42-72-6
Disallow: /model/818-genesis-black-5x112-8-0x18-35-66-6
Disallow: /model/4044
Disallow: /model/4043
Disallow: /model/3966
Disallow: /model/2018-genesis-silver-5x114-3-8-5x20-45-67-1
Disallow: /model/2018-genesis-gmd-5x120-8-5x20-45-72-6
Disallow: /model/2018-genesis-gmd-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-gm-5x114-3-8-5x20-45-67-1
Disallow: /model/2018-genesis-gm-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-gm-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-bmd-5x112-8-5x20-35-66-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-black-diamond-5x114-3-8-5x20-35-60-1
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-35-66-6
Disallow: /index.php?route=information/information/info&information_id=5
Disallow: /diski-na-avto/audi-1/?page=2
Disallow: /diski-na-avto/audi-1/?page=3
Disallow: /diski-na-avto/audi-1/?page=4
Disallow: /diski-na-avto/audi-1/?page=5
Disallow: /diski-na-avto/audi-1/?page=6
Disallow: /diski-na-avto/audi-1/?page=7
Disallow: /diski-na-avto/audi-1/?page=8
Disallow: /diski-na-avto/audi-1/?page=9
Disallow: /diski-na-avto/audi-1/?page=10
Disallow: /diski-na-avto/audi-1/?page=11
Disallow: /diski-na-avto/audi-1/?page=12
Disallow: /diski-na-avto/audi-1/?page=13
Disallow: /diski-na-avto/audi-1/?page=14
Disallow: /diski-na-avto/audi-1/?page=15
Disallow: /diski-na-avto/audi-1/?page=16
Disallow: /diski-na-avto/audi-1/?page=17
Disallow: /diski-na-avto/audi-1/?page=18
Disallow: /diski-na-avto/audi-1/?page=19
Disallow: /diski-na-avto/audi-1/?page=20
Disallow: /diski-na-avto/audi-1/?page=21
Disallow: /diski-na-avto/audi-1/?page=22
Disallow: /diski-na-avto/audi-1/?page=23
Disallow: /diski-na-avto/audi-1/?page=24
Disallow: /diski-na-avto/audi-1/?page=25
Disallow: /diski-na-avto/audi-1/?page=26
Disallow: /diski-na-avto/audi-1/?page=27
Disallow: /diski-na-avto/audi-1/?page=28
Disallow: /diski-na-avto/bmw-1/?page=2
Disallow: /diski-na-avto/bmw-1/?page=3
Disallow: /diski-na-avto/bmw-1/?page=4
Disallow: /diski-na-avto/bmw-1/?page=5
Disallow: /diski-na-avto/bmw-1/?page=6
Disallow: /diski-na-avto/bmw-1/?page=7
Disallow: /diski-na-avto/bmw-1/?page=8
Disallow: /diski-na-avto/bmw-1/?page=9
Disallow: /diski-na-avto/bmw-1/?page=10
Disallow: /diski-na-avto/bmw-1/?page=11
Disallow: /diski-na-avto/bmw-1/?page=12
Disallow: /diski-na-avto/bmw-1/?page=13
Disallow: /diski-na-avto/bmw-1/?page=14
Disallow: /diski-na-avto/bmw-1/?page=15
Disallow: /diski-na-avto/bmw-1/?page=16
Disallow: /diski-na-avto/bmw-1/?page=17
Disallow: /diski-na-avto/bmw-1/?page=18
Disallow: /diski-na-avto/bmw-1/?page=19
Disallow: /diski-na-avto/bmw-1/?page=20
Disallow: /diski-na-avto/bmw-1/?page=30
Disallow: /diski-na-avto/chevrolet-1/?page=2
Disallow: /diski-na-avto/chevrolet-1/?page=3
Disallow: /diski-na-avto/chevrolet-1/?page=4
Disallow: /diski-na-avto/citroen-1/?page=2
Disallow: /diski-na-avto/citroen-1/?page=3
Disallow: /diski-na-avto/citroen-1/?page=4
Disallow: /diski-na-avto/citroen-1/?page=5
Disallow: /diski-na-avto/ford-1/?page=2
Disallow: /diski-na-avto/ford-1/?page=3
Disallow: /diski-na-avto/ford-1/?page=4
Disallow: /diski-na-avto/ford-1/?page=5
Disallow: /diski-na-avto/honda-1/?page=2
Disallow: /diski-na-avto/honda-1/?page=3
Disallow: /diski-na-avto/hyundai-1/?page=2
Disallow: /diski-na-avto/hyundai-1/?page=3
Disallow: /diski-na-avto/hyundai-1/?page=4
Disallow: /diski-na-avto/infiniti-1/?page=2
Disallow: /diski-na-avto/jeep-1/?page=2
Disallow: /diski-na-avto/kia-1/?page=2
Disallow: /diski-na-avto/kia-1/?page=3
Disallow: /diski-na-avto/kia-1/?page=4
Disallow: /diski-na-avto/kia-1/?page=5
Disallow: /diski-na-avto/land-rover/?page=2
Disallow: /diski-na-avto/lexus-1/?page=2
Disallow: /diski-na-avto/lexus-1/?page=3
Disallow: /diski-na-avto/mazda-1/?page=2
Disallow: /diski-na-avto/mazda-1/?page=3
Disallow: /diski-na-avto/mazda-1/?page=4
Disallow: /diski-na-avto/mazda-1/?page=5
Disallow: /diski-na-avto/mitsubishi-1/?page=2
Disallow: /diski-na-avto/mitsubishi-1/?page=3
Disallow: /diski-na-avto/nissan-1/?page=2
Disallow: /diski-na-avto/nissan-1/?page=3
Disallow: /diski-na-avto/nissan-1/?page=4
Disallow: /diski-na-avto/opel-1/?page=2
Disallow: /diski-na-avto/opel-1/?page=3
Disallow: /diski-na-avto/opel-1/?page=4
Disallow: /diski-na-avto/opel-1/?page=5
Disallow: /diski-na-avto/opel-1/?page=6
Disallow: /diski-na-avto/opel-1/?page=7
Disallow: /diski-na-avto/opel-1/?page=8
Disallow: /diski-na-avto/peugeot-1/?page=2
Disallow: /diski-na-avto/peugeot-1/?page=3
Disallow: /diski-na-avto/peugeot-1/?page=4
Disallow: /diski-na-avto/porsche-1/?page=2
Disallow: /diski-na-avto/porsche-1/?page=3
Disallow: /diski-na-avto/porsche-1/?page=4
Disallow: /diski-na-avto/renault-1/?page=2
Disallow: /diski-na-avto/renault-1/?page=3
Disallow: /diski-na-avto/seat-1/?page=2
Disallow: /diski-na-avto/seat-1/?page=3
Disallow: /diski-na-avto/seat-1/?page=4
Disallow: /diski-na-avto/skoda-1/?page=2
Disallow: /diski-na-avto/skoda-1/?page=3
Disallow: /diski-na-avto/skoda-1/?page=4
Disallow: /diski-na-avto/skoda-1/?page=5
Disallow: /diski-na-avto/skoda-1/?page=6
Disallow: /diski-na-avto/skoda-1/?page=7
Disallow: /diski-na-avto/skoda-1/?page=8
Disallow: /diski-na-avto/skoda-1/?page=9
Disallow: /diski-na-avto/skoda-1/?page=10
Disallow: /diski-na-avto/skoda-1/?page=11
Disallow: /diski-na-avto/skoda-1/?page=12
Disallow: /diski-na-avto/skoda-1/?page=13
Disallow: /diski-na-avto/skoda-1/?page=14
Disallow: /diski-na-avto/skoda-1/?page=15
Disallow: /diski-na-avto/skoda-1/?page=16
Disallow: /diski-na-avto/skoda-1/?page=17
Disallow: /diski-na-avto/skoda-1/?page=18
Disallow: /diski-na-avto/skoda-1/?page=19
Disallow: /diski-na-avto/skoda-1/?page=20
Disallow: /diski-na-avto/skoda-1/?page=21
Disallow: /diski-na-avto/subaru-1/?page=2
Disallow: /diski-na-avto/toyota-1/?page=2
Disallow: /diski-na-avto/toyota-1/?page=3
Disallow: /diski-na-avto/toyota-1/?page=4
Disallow: /diski-na-avto/toyota-1/?page=5
Disallow: /diski-na-avto/toyota-1/?page=6
Disallow: /diski-na-avto/volkswagen-1/?page=2
Disallow: /diski-na-avto/volkswagen-1/?page=3
Disallow: /diski-na-avto/volkswagen-1/?page=4
Disallow: /diski-na-avto/volkswagen-1/?page=5
Disallow: /diski-na-avto/volkswagen-1/?page=6
Disallow: /diski-na-avto/volkswagen-1/?page=7
Disallow: /diski-na-avto/volkswagen-1/?page=8
Disallow: /diski-na-avto/volkswagen-1/?page=9
Disallow: /diski-na-avto/volkswagen-1/?page=10
Disallow: /diski-na-avto/volkswagen-1/?page=11
Disallow: /diski-na-avto/volkswagen-1/?page=12
Disallow: /diski-na-avto/volkswagen-1/?page=13
Disallow: /diski-na-avto/volkswagen-1/?page=14
Disallow: /diski-na-avto/volkswagen-1/?page=15
Disallow: /diski-na-avto/volkswagen-1/?page=16
Disallow: /diski-na-avto/volkswagen-1/?page=17
Disallow: /diski-na-avto/volkswagen-1/?page=18
Disallow: /diski-na-avto/volkswagen-1/?page=19
Disallow: /diski-na-avto/volkswagen-1/?page=20
Disallow: /diski-na-avto/volkswagen-1/?page=21
Disallow: /diski-na-avto/volkswagen-1/?page=22
Disallow: /diski-na-avto/volkswagen-1/?page=23
Disallow: /diski-na-avto/volkswagen-1/?page=24
Disallow: /diski-na-avto/volkswagen-1/?page=25
Disallow: /diski-na-avto/volkswagen-1/?page=26
Disallow: /diski-na-avto/volkswagen-1/?page=27
Disallow: /diski-na-avto/volkswagen-1/?page=28
Disallow: /diski-na-avto/volvo-1/?page=2
Disallow: /diski-na-avto/volvo-1/?page=3
Disallow: /diski-na-avto/volvo-1/?page=4
Disallow: /diski-na-avto/mercedes-1/?page=2
Disallow: /diski-na-avto/mercedes-1/?page=3
Disallow: /diski-na-avto/mercedes-1/?page=4
Disallow: /diski-na-avto/mercedes-1/?page=5
Disallow: /diski-na-avto/mercedes-1/?page=6
Disallow: /diski-na-avto/mercedes-1/?page=7
Disallow: /diski-na-avto/mercedes-1/?page=8
Disallow: /diski-na-avto/mercedes-1/?page=9
Disallow: /diski-na-avto/mercedes-1/?page=10
Disallow: /diski-na-avto/mercedes-1/?page=11
Disallow: /diski-na-avto/mercedes-1/?page=12
Disallow: /diski-na-avto/mercedes-1/?page=13
Disallow: /disla/?page=2
Disallow: /allante/?page=2
Disallow: /trw/?page=2
Disallow: /trw/?page=3
Disallow: /trw/?page=4
Disallow: /vossen-1/?page=2
Disallow: /vossen-1/?page=3
Disallow: /zw-2/?page=2
Disallow: /zw-2/?page=3
Disallow: /zw-2/?page=4
Disallow: /zw-2/?page=5
Disallow: /zw-2/?page=6
Disallow: /zw-2/?page=7
Disallow: /zw-2/?page=8
Disallow: /zw-2/?page=9
Disallow: /zw-2/?page=10
Disallow: /zw-2/?page=11
Disallow: /zw-2/?page=12
Disallow: /zw-2/?page=13
Disallow: /zw-2/?page=14
Disallow: /zw-2/?page=15
Disallow: /zw-2/?page=16
Disallow: /zw-2/?page=17
Disallow: /zw-2/?page=18
Disallow: /zw-2/?page=19
Disallow: /zw-2/?page=20
Disallow: /yokatta-rays/?page=2
Disallow: /stalnye-diski/?page=2
Disallow: /stalnye-diski/?page=3
Disallow: /diski-na-avto/acura-1/
Disallow: /diski-na-avto/cadillac-1/
Disallow: /diski-na-avto/chery-1/
Disallow: /diski-na-avto/dodge-1/
Disallow: /simplecheckout/
Disallow: /forgot-password/
Disallow: /tajvan.html
Disallow: /diski-na-avto/?page=23
Host: https://мой сайт.com.ua
Изменено пользователем Avrel
Ссылка на комментарий
Поделиться на других сайтах


Мое мнение про прятание админки в robots.txt.

 

Если она у вас стандартная (../admin/), то только начинающий хакер не знает ее урл в opencart и сделать на запрет на нее для роботов не страшно.

Но если она у вас другая и на нее (или из нее) нет ссылок на другие ресурсы со счетчиками (а сейчас они стоят почти на всех сайтах) то лучше ее не светить.

 

Для пущей безопасности, данную папку можно запаролить средствами веб-сервера (http://www.softtime.ru/info/apache.php?id_article=27)

 

И еще, для opencart есть модуль Simple Login Security повышающий безопасность входа в админку.

 

Вот тут я немного сомневаюсь, так ли это:

почти все существующие браузеры перед входом на страницу в введенную в строке урл сначала бегут в установленный в нем поисковик, т.е. поисковик все равно знает о вашей секретной странице!

 

!!! Всегда устанавливайте сложные пароли и проверяйте логи админки !!!

Ссылка на комментарий
Поделиться на других сайтах


 

Но если она у вас другая и на нее (или из нее) нет ссылок на другие ресурсы со счетчиками (а сейчас они стоят почти на всех сайтах) то лучше ее не светить.

 

Ну да, я тоже так думаю. Любой дурак откроет robots и сразу поймет , где админка. Оно нам надо? ...

Ссылка на комментарий
Поделиться на других сайтах


какой параметр в robots отвечает за ссылки в индексе отсортированные по разному?
В индекс залилась одна категория сайта с окончаниями вида:
 

/?limit=25&page=2
/?page=%7Bpage%7D
/?limit=21&page=3
/?limit=21&page=2
/?sort=rating&order=DESC&page=2
/?sort=rating&order=ASC&page=2
/?sort=rating&order=DESC&page=3
/?sort=rating&order=ASC&page=3
/?sort=pd.name&order=DESC&page=2
/?sort=p.price&order=ASC&page=2
/?sort=p.model&order=ASC&page=2
/?sort=p.price&order=ASC&page=3
/?sort=p.price&order=DESC&page=2
/?sort=p.model&order=DESC&page=2
/?sort=pd.name&order=DESC&page=3

Вредно ли это для категории?
По сути одна страница по разному отсортированная 

полагаю: Эти?
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
 
Что делать с теми ссылками которые уже в индексе после того как отредактировал robots?
Ждать пока поисковики сами удалят или вручную просить удалить их у поисковиков?
Изменено пользователем Blow
Ссылка на комментарий
Поделиться на других сайтах


 

 

Что делать с теми ссылками которые уже в индексе после того как отредактировал robots?
Ждать пока поисковики сами удалят или вручную просить удалить их у поисковиков?

 

Ничего не делать. Это не косяк. :-)

Ссылка на комментарий
Поделиться на других сайтах


Ничего не делать. Это не косяк. :-)

Спасибо) а то у меня из за  роботса "/каталог" заблокировал кучу страниц и я паникую сейчас в ожидании разблокировки.

Ссылка на комментарий
Поделиться на других сайтах


Гугл продолжает блокировать ресурсы. На заблокированных ресурсах подсвечивает зеленым параметр allow/catalog 
То есть по идее не должен блокировать.
Проблема именно в catalog
Как только удаляю robots количество заблокированных страниц падает

Мой robots:
 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Allow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Allow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking


Host: 
Sitemap:
Ссылка на комментарий
Поделиться на других сайтах


 

Гугл продолжает блокировать ресурсы. 

...

Проблема именно в catalog

 

 

...

Disallow: /catalog

...

 

Потом, в конце списка запретов идут разрешения (открытия):

 

Allow: /catalog/view/javascript

Allow: /catalog/view/image

Allow: /catalog/view/stylesheet

Allow: /catalog/view/*/javascript

Allow: /catalog/view/*/image

Allow: /catalog/view/*/stylesheet

 

Вот так мне открыли скрипты, стили и картинки. А сам каталог, как видите, закрыт.

 

Что Вы называете "блокирует"? Он и должен блокировать всё лишнее. В этом смысл, как бы.

Изменено пользователем florapraktik
Ссылка на комментарий
Поделиться на других сайтах


...

Disallow: /catalog

...

 

Потом, в конце списка запретов идут разрешения (открытия):

 

Allow: /catalog/view/javascript

Allow: /catalog/view/image

Allow: /catalog/view/stylesheet

Allow: /catalog/view/*/javascript

Allow: /catalog/view/*/image

Allow: /catalog/view/*/stylesheet

 

Вот так мне открыли скрипты, стили и картинки. А сам каталог, как видите, закрыт.

 

Что Вы называете "блокирует"? Он и должен блокировать всё лишнее. В этом смысл, как бы.

 

 

Заблокировано в файле robots.txt

Должен блокировать то что не нужно, а не страницы с товарами правильно ведь? В списке заблокированных именно страницы товаров, а не админки и прочего...

Спасибо за решение. Попробую.

 

Ссылка на комментарий
Поделиться на других сайтах


Кто нибудь ответьте пожалуйста почему нежелательно разрешать доступ к каталогу (Allow: /catalog) чем чревато?

Присоединяюсь к вопросу!

 

Как раз сидел и думал. Попробовал зайти в каталог через строку браузера в ответ получил:

You don't have permission to access /catalog/ on this server.

Т.е., меня туда не пустили. А роботов пускают? И вообще, как они туда попадают?

Были разговоры про админку, типа: "не надо, закрывать админку от роботов, ибо ибо они о ней и так не знают".

ОК, а про /catalog знают? Откуда?

 

ПыСы. Кажется, понял - из ссылок в хеде, вот откуда!

Выходит, надо закрывать, что бы бот не заблудился во всех этих вкумодах и кешах?

С другой стороны, а про вкумоды и кеши он откуда знает?

 

Blow, а какие урлы у Ваших "заблокированных страниц".

Как Вы сделали вывод, что закрыли роботам полезные страницы?

Когда Вы делаете "посмотреть как гуглебот", то что Вам отвечают?

Изменено пользователем florapraktik
Ссылка на комментарий
Поделиться на других сайтах


не везде catalog отдает 403

иногда открывается дерево категорий с файлами (Options Indexes)

 

а попадают туда часто по старой ссылке (другая cms была, перешли на опенкарт)

  • +1 1
Ссылка на комментарий
Поделиться на других сайтах

 

Blow, а какие урлы у Ваших "заблокированных страниц".

Как Вы сделали вывод, что закрыли роботам полезные страницы?

Когда Вы делаете "посмотреть как гуглебот", то что Вам отвечают?

 

опять зря паникую походу.

В расширенных данных (статусы индексирования) показал что поползли вверх заблокированные.

Bezimeni2j_4920425_24804735.jpg

Днём позже. В "Заблокированных ресурсах" поползли вниз. 

Это просто с allow/catalog

Сейчас пробую с тем что Вы посоветовали только ещё надо было открыть там "Allow: /catalog/view/theme/"

 

Bezimeni1j_3609278_24804744.jpg

Когда смотрел как гуглебот c allow/catalog он (бот) отображал нормально страницу так как полагается и в нем не было заблокированных файлов и скриптов.

Просто удивился почему поползли вверх заблокированные. Сейчас думаю что без robots он добавил в индекс бесполезные страницы, и с robots и allow/catalog

начал блокировать бесполезные и у меня бомбануло. Потому что в списке заблокированных пока что отображаются именно полезные страницы с товарами. 

Причем в блок попали и новые страницы которые были добавлены уже при allow/catalog

отсюда и смутился 

 

Изменено пользователем Blow
Ссылка на комментарий
Поделиться на других сайтах


Верните на место свой роботс.тхт с закрытым catalog, но добавьте в конце списка то, что я написал - откроете скрипты, стили и картинки.

Потом скормите "посмотреть как гуглебот" урлы со страницы товара, со страницы категории и что Вы там ещё хотите ему показать. И почитайте, что скажет.

Всё нормально должно быть, по идее.

То, что в результате Ваших экспериментов были проиндексированы лишние дубли, то это не влияет на поисковый рейтинг сайта (если Вас это беспокоит).

 

На будущее: привыкайте аккуратней с экспериментами - не делайте телодвижений, смысла которых не понимаете (зачем было сносить роботс.тхт?).

Ссылка на комментарий
Поделиться на других сайтах


Верните на место свой роботс.тхт с закрытым catalog, но добавьте в конце списка то, что я написал - откроете скрипты, стили и картинки.

Потом скормите "посмотреть как гуглебот" урлы со страницы товара, со страницы категории и что Вы там ещё хотите ему показать. И почитайте, что скажет.

Всё нормально должно быть, по идее.

То, что в результате Ваших экспериментов были проиндексированы лишние дубли, то это не влияет на поисковый рейтинг сайта (если Вас это беспокоит).

 

На будущее: привыкайте аккуратней с экспериментами - не делайте телодвижений, смысла которых не понимаете (зачем было сносить роботс.тхт?).

 Перенес сайт на новый OpenCart (с 1.5 на 2.3) и на другой сервер и шаблон новый. По умолчанию в новом open cart,  Robots небыло. Когда закинул не обратил внимание что она начал блокать всё подряд. Для этого и снёс. 

Да так как Вы написали и сделал. + добавил это  "Allow: /catalog/view/theme/"

Матюкался робот на это

Ссылка на комментарий
Поделиться на других сайтах


  • 5 недель спустя...

Добрый день!

В проверке ответа сервера, всех страниц категорий и товаров, выдает следующее:

Данный URL запрещён к индексированию в файле robots.txt 

файл robots.txt стандартный, только добавлены host и sitemap.

Подскажите пожалуйста, в чем может быть проблема?

Ссылка на комментарий
Поделиться на других сайтах


1 час назад, Delight сказал:

Добрый день!

В проверке ответа сервера, всех страниц категорий и товаров, выдает следующее:

Данный URL запрещён к индексированию в файле robots.txt 

файл robots.txt стандартный, только добавлены host и sitemap.

Подскажите пожалуйста, в чем может быть проблема?

Прошу прощения, разобрался

Ссылка на комментарий
Поделиться на других сайтах


  • 3 месяца спустя...

Подскажите  в яндексе 2000 страниц  и  гугле 3300 страниц при этом товара на сайта около 2000 товаров  это нормально или файл тхт не правильно сделали. Подскажите т.к. в этом не особо силен .файл ниже. Спасибо за ответ

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: galcom.com.ua

Ссылка на комментарий
Поделиться на других сайтах


  • 1 месяц спустя...

А зачем вот это все дублируется?

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

Разве нельзя так написать?

Disallow: /*sort

Disallow: /*order

Disallow: /*limit

и тд.

 

А эта строка Disallow: /index.php?route=product/product*&manufacturer_id=

равнозначна вот этой Disallow: /index.php?route=product/product

Так что может так?

Disallow: /*manufacturer_id

Изменено пользователем AlfredS
  • +1 1
Ссылка на комментарий
Поделиться на других сайтах


  • 1 месяц спустя...

Всем привет.

Посмотрите мой robots.txt, кому не трудно. Может что-то поправить нужно.

 

Яндекс.Вебмастер выдает такие результаты:

Загруженные страницы - 1013
Страницы в поиске - 504
Исключённые страницы - 9

 

User-agent: *
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /.well-known
Disallow: /smslog
Disallow: /cgi-bin/
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /404
Disallow: /route=account/*
Disallow: /route=account/login*
Disallow: /route=checkout/*
Disallow: /route=checkout/cart*
Disallow: /route=affiliate/*
Disallow: /route=product/search*
Disallow: /route=uni_blog/search*
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product*
Disallow: /index.php?route=caregory*
Disallow: /index.php?route=manufacturer*
Disallow: /?page=*
Disallow: /?sort=*
Disallow: /?sort*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /?order*
Disallow: /&order=*
Disallow: /?limit=*
Disallow: /&limit=*
Disallow: /?filter_name=*
Disallow: /&filter_name=*
Disallow: /?filter_sub_category=*
Disallow: /&filter_sub_category=*
Disallow: /?filter_description=*
Disallow: /&filter_description=*
Disallow: /?tracking=*
Disallow: /&tracking=*
Disallow: /?manufacturer*
Disallow: /?keyword*
Disallow: /?tag=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Sitemap: site.ru/sitemap.xml

 

User-agent: Yandex
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /.well-known
Disallow: /smslog
Disallow: /cgi-bin/
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /404
Disallow: /route=account/*
Disallow: /route=account/login*
Disallow: /route=checkout/*
Disallow: /route=checkout/cart*
Disallow: /route=affiliate/*
Disallow: /route=product/search*
Disallow: /route=uni_blog/search*
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product*
Disallow: /index.php?route=caregory*
Disallow: /index.php?route=manufacturer*
Disallow: /?page=*
Disallow: /?sort=*
Disallow: /?sort*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /?order*
Disallow: /&order=*
Disallow: /?limit=*
Disallow: /&limit=*
Disallow: /?filter_name=*
Disallow: /&filter_name=*
Disallow: /?filter_sub_category=*
Disallow: /&filter_sub_category=*
Disallow: /?filter_description=*
Disallow: /&filter_description=*
Disallow: /?tracking=*
Disallow: /&tracking=*
Disallow: /?manufacturer*
Disallow: /?keyword*
Disallow: /?tag=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Host: site.ru
Sitemap: site.ru/yandex.xml

Изменено пользователем storer
Ссылка на комментарий
Поделиться на других сайтах


Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Поделиться

  • Сейчас на странице   0 пользователей

    • Нет пользователей, просматривающих эту страницу.
×
×
  • Создать...

Важная информация

На нашем сайте используются файлы cookie и происходит обработка некоторых персональных данных пользователей, чтобы улучшить пользовательский интерфейс. Чтобы узнать для чего и какие персональные данные мы обрабатываем перейдите по ссылке. Если Вы нажмете «Я даю согласие», это означает, что Вы понимаете и принимаете все условия, указанные в этом Уведомлении о Конфиденциальности.