Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

Recommended Posts

немного поясню свое высказывание.

Любой робот сначала проверяет два файла robots.txt и sitemap.xml и лишь потом начинает шариться по всему сайту. Из этих файлов он берет список страниц сайта и инструкции, куда ему ходить и что делать smile.png . Если в структуре сайта нигде (ни на одной странице и в файлах robots.txt, sitemap.xml) нет прямой ссылки на админку (типа mysite.com/adminka/) то робот пройдет мимо админки. Поэтому запись

Disallow: /admin
не имеет смысла, мы пытаемся запретить доступ туда, куда робот и идти-то не собирался smile.png , а вот злоумышленникам подсказку даем. Вот как то так wink.png

 

 

Еще раз.

 

1) У меня как раз тот случай, когда админка имеет название не /admin, а /хрен-кому-скажу, и открыто показывать ее таким образом действительно не стоит. Тогда что, просто не указываем ?

 

2) Ссылки. ЧПУ , а не Disallow: /index.php?route=product/product*&manufacturer_id=.  - тоже не указываем?

 

3) /catalog,  /system - это оставлять?

 

4) sitemap  - как корректно :

 

Sitemap: http://мойдомен.com/index.php?route=feed/google_sitemap , или достаточно просто мойдомен.сом/sitemap.xml  ?  ...

Змінено користувачем bitterlemon
Надіслати
Поділитися на інших сайтах


Кому не трудно гляньте мой файл. 

User-agent: *
Disallow: /*.css
Allow: /image/cache 
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /roshanvapebomb
Disallow: /cache
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /*route=account/login
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=checkout/cart
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /uploads/products/3667/570e3e3e9b80e.jpg
Disallow: /uploads/products/2598/56444fb69297a.jpg
Disallow: /uploads/products/3497/56e7f3fb76881.jpg
Disallow: /model/818-genesis-bm-5x100-8-0x18-35-72-6
Disallow: /uploads/products/3498/56e7f407cca11.jpg
Disallow: /model/818-genesis-black-5x112-8-0x18-35-66-6
Disallow: /model/818-genesis-black-diamond-5x108-8-0x18-42-72-6
Disallow: /uploads/products/3499/56e7f425d4ce8.jpg
Disallow: /uploads/products/3501/56e7f43b95a2f.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-35-66-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-66-6
Disallow: /uploads/products/3500/56e7f41c58219.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-66-6
Disallow: /uploads/products/1765/54194663e8b53.jpg
Disallow: /model/818-genesis-gm-5x112-8-0x18-40-66-6
Disallow: /uploads/products/3666/570e3e2eb80a0.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-67-1
Disallow: /uploads/products/2728/56c322b2ac5f5.jpg
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-72-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-72-6
Disallow: /model/818-genesis-black-diamond-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-gm-5x114-3-8-0x18-40-67-1
Disallow: /uploads/products/1774/541959a33065c.jpg
Disallow: /model/818-genesis-gmd-5x114-3-8-0x18-40-67-1
Disallow: /uploads/products/2648/56444ff3a0e32.jpg
Disallow: /model/4043
Disallow: /model/818-genesis-black-diamond-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-bm-5x120-8-0x18-40-72-6
Disallow: /uploads/products/3926/580eeab4b02b9.jpg
Disallow: /model/818-genesis-gm-5x120-8-0x18-40-72-6
Disallow: /uploads/products/3927/580eeabeb0665.jpg
Disallow: /model/4044
Disallow: /uploads/products/3930/580eeadae0dad.jpg
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-35-66-6
Disallow: /uploads/products/3932/580eeaf007d46.jpg
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-42-66-6
Disallow: /uploads/products/3928/580eeac6de4c3.jpg
Disallow: /model/2018-genesis-bmd-5x112-8-5x20-35-66-6
Disallow: /uploads/products/3931/580eeae3c26c9.jpg
Disallow: /model/2018-genesis-gm-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-45-72-6
Disallow: /uploads/products/3929/580eead044953.jpg
Disallow: /model/2018-genesis-gm-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-gmd-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-black-diamond-5x114-3-8-5x20-35-60-1
Disallow: /model/2018-genesis-gm-5x114-3-8-5x20-45-67-1
Disallow: /model/2018-genesis-silver-5x114-3-8-5x20-45-67-1
Disallow: /static/img/prv.png
Disallow: /model/2018-genesis-gmd-5x120-8-5x20-45-72-6
Disallow: /model/3966
Disallow: /uploads/products/3932/580eeaf007d46.jpg
Disallow: /uploads/products/3931/580eeae3c26c9.jpg
Disallow: /uploads/products/3930/580eeadae0dad.jpg
Disallow: /uploads/products/3929/580eead044953.jpg
Disallow: /uploads/products/3928/580eeac6de4c3.jpg
Disallow: /uploads/products/3927/580eeabeb0665.jpg
Disallow: /uploads/products/3926/580eeab4b02b9.jpg
Disallow: /uploads/products/3667/570e3e3e9b80e.jpg
Disallow: /uploads/products/3666/570e3e2eb80a0.jpg
Disallow: /uploads/products/3501/56e7f43b95a2f.jpg
Disallow: /uploads/products/3500/56e7f41c58219.jpg
Disallow: /uploads/products/3499/56e7f425d4ce8.jpg
Disallow: /uploads/products/3498/56e7f407cca11.jpg
Disallow: /uploads/products/3497/56e7f3fb76881.jpg
Disallow: /uploads/products/2728/56c322b2ac5f5.jpg
Disallow: /uploads/products/2648/56444ff3a0e32.jpg
Disallow: /uploads/products/2598/56444fb69297a.jpg
Disallow: /uploads/products/1774/541959a33065c.jpg
Disallow: /uploads/products/1765/54194663e8b53.jpg
Disallow: /model/818-genesis-gmd-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-gm-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-gm-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-gm-5x112-8-0x18-40-66-6
Disallow: /model/818-genesis-bm-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-bm-5x100-8-0x18-35-72-6
Disallow: /model/818-genesis-black-diamond-5x120-8-0x18-40-72-6
Disallow: /model/818-genesis-black-diamond-5x114-3-8-0x18-40-67-1
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-72-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-45-66-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-72-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-67-1
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-40-66-6
Disallow: /model/818-genesis-black-diamond-5x112-8-0x18-35-66-6
Disallow: /model/818-genesis-black-diamond-5x108-8-0x18-42-72-6
Disallow: /model/818-genesis-black-5x112-8-0x18-35-66-6
Disallow: /model/4044
Disallow: /model/4043
Disallow: /model/3966
Disallow: /model/2018-genesis-silver-5x114-3-8-5x20-45-67-1
Disallow: /model/2018-genesis-gmd-5x120-8-5x20-45-72-6
Disallow: /model/2018-genesis-gmd-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-gm-5x114-3-8-5x20-45-67-1
Disallow: /model/2018-genesis-gm-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-gm-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-bmd-5x112-8-5x20-35-66-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-bm-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-black-diamond-5x114-3-8-5x20-35-60-1
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-45-72-6
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-42-66-6
Disallow: /model/2018-genesis-black-diamond-5x112-8-5x20-35-66-6
Disallow: /index.php?route=information/information/info&information_id=5
Disallow: /diski-na-avto/audi-1/?page=2
Disallow: /diski-na-avto/audi-1/?page=3
Disallow: /diski-na-avto/audi-1/?page=4
Disallow: /diski-na-avto/audi-1/?page=5
Disallow: /diski-na-avto/audi-1/?page=6
Disallow: /diski-na-avto/audi-1/?page=7
Disallow: /diski-na-avto/audi-1/?page=8
Disallow: /diski-na-avto/audi-1/?page=9
Disallow: /diski-na-avto/audi-1/?page=10
Disallow: /diski-na-avto/audi-1/?page=11
Disallow: /diski-na-avto/audi-1/?page=12
Disallow: /diski-na-avto/audi-1/?page=13
Disallow: /diski-na-avto/audi-1/?page=14
Disallow: /diski-na-avto/audi-1/?page=15
Disallow: /diski-na-avto/audi-1/?page=16
Disallow: /diski-na-avto/audi-1/?page=17
Disallow: /diski-na-avto/audi-1/?page=18
Disallow: /diski-na-avto/audi-1/?page=19
Disallow: /diski-na-avto/audi-1/?page=20
Disallow: /diski-na-avto/audi-1/?page=21
Disallow: /diski-na-avto/audi-1/?page=22
Disallow: /diski-na-avto/audi-1/?page=23
Disallow: /diski-na-avto/audi-1/?page=24
Disallow: /diski-na-avto/audi-1/?page=25
Disallow: /diski-na-avto/audi-1/?page=26
Disallow: /diski-na-avto/audi-1/?page=27
Disallow: /diski-na-avto/audi-1/?page=28
Disallow: /diski-na-avto/bmw-1/?page=2
Disallow: /diski-na-avto/bmw-1/?page=3
Disallow: /diski-na-avto/bmw-1/?page=4
Disallow: /diski-na-avto/bmw-1/?page=5
Disallow: /diski-na-avto/bmw-1/?page=6
Disallow: /diski-na-avto/bmw-1/?page=7
Disallow: /diski-na-avto/bmw-1/?page=8
Disallow: /diski-na-avto/bmw-1/?page=9
Disallow: /diski-na-avto/bmw-1/?page=10
Disallow: /diski-na-avto/bmw-1/?page=11
Disallow: /diski-na-avto/bmw-1/?page=12
Disallow: /diski-na-avto/bmw-1/?page=13
Disallow: /diski-na-avto/bmw-1/?page=14
Disallow: /diski-na-avto/bmw-1/?page=15
Disallow: /diski-na-avto/bmw-1/?page=16
Disallow: /diski-na-avto/bmw-1/?page=17
Disallow: /diski-na-avto/bmw-1/?page=18
Disallow: /diski-na-avto/bmw-1/?page=19
Disallow: /diski-na-avto/bmw-1/?page=20
Disallow: /diski-na-avto/bmw-1/?page=30
Disallow: /diski-na-avto/chevrolet-1/?page=2
Disallow: /diski-na-avto/chevrolet-1/?page=3
Disallow: /diski-na-avto/chevrolet-1/?page=4
Disallow: /diski-na-avto/citroen-1/?page=2
Disallow: /diski-na-avto/citroen-1/?page=3
Disallow: /diski-na-avto/citroen-1/?page=4
Disallow: /diski-na-avto/citroen-1/?page=5
Disallow: /diski-na-avto/ford-1/?page=2
Disallow: /diski-na-avto/ford-1/?page=3
Disallow: /diski-na-avto/ford-1/?page=4
Disallow: /diski-na-avto/ford-1/?page=5
Disallow: /diski-na-avto/honda-1/?page=2
Disallow: /diski-na-avto/honda-1/?page=3
Disallow: /diski-na-avto/hyundai-1/?page=2
Disallow: /diski-na-avto/hyundai-1/?page=3
Disallow: /diski-na-avto/hyundai-1/?page=4
Disallow: /diski-na-avto/infiniti-1/?page=2
Disallow: /diski-na-avto/jeep-1/?page=2
Disallow: /diski-na-avto/kia-1/?page=2
Disallow: /diski-na-avto/kia-1/?page=3
Disallow: /diski-na-avto/kia-1/?page=4
Disallow: /diski-na-avto/kia-1/?page=5
Disallow: /diski-na-avto/land-rover/?page=2
Disallow: /diski-na-avto/lexus-1/?page=2
Disallow: /diski-na-avto/lexus-1/?page=3
Disallow: /diski-na-avto/mazda-1/?page=2
Disallow: /diski-na-avto/mazda-1/?page=3
Disallow: /diski-na-avto/mazda-1/?page=4
Disallow: /diski-na-avto/mazda-1/?page=5
Disallow: /diski-na-avto/mitsubishi-1/?page=2
Disallow: /diski-na-avto/mitsubishi-1/?page=3
Disallow: /diski-na-avto/nissan-1/?page=2
Disallow: /diski-na-avto/nissan-1/?page=3
Disallow: /diski-na-avto/nissan-1/?page=4
Disallow: /diski-na-avto/opel-1/?page=2
Disallow: /diski-na-avto/opel-1/?page=3
Disallow: /diski-na-avto/opel-1/?page=4
Disallow: /diski-na-avto/opel-1/?page=5
Disallow: /diski-na-avto/opel-1/?page=6
Disallow: /diski-na-avto/opel-1/?page=7
Disallow: /diski-na-avto/opel-1/?page=8
Disallow: /diski-na-avto/peugeot-1/?page=2
Disallow: /diski-na-avto/peugeot-1/?page=3
Disallow: /diski-na-avto/peugeot-1/?page=4
Disallow: /diski-na-avto/porsche-1/?page=2
Disallow: /diski-na-avto/porsche-1/?page=3
Disallow: /diski-na-avto/porsche-1/?page=4
Disallow: /diski-na-avto/renault-1/?page=2
Disallow: /diski-na-avto/renault-1/?page=3
Disallow: /diski-na-avto/seat-1/?page=2
Disallow: /diski-na-avto/seat-1/?page=3
Disallow: /diski-na-avto/seat-1/?page=4
Disallow: /diski-na-avto/skoda-1/?page=2
Disallow: /diski-na-avto/skoda-1/?page=3
Disallow: /diski-na-avto/skoda-1/?page=4
Disallow: /diski-na-avto/skoda-1/?page=5
Disallow: /diski-na-avto/skoda-1/?page=6
Disallow: /diski-na-avto/skoda-1/?page=7
Disallow: /diski-na-avto/skoda-1/?page=8
Disallow: /diski-na-avto/skoda-1/?page=9
Disallow: /diski-na-avto/skoda-1/?page=10
Disallow: /diski-na-avto/skoda-1/?page=11
Disallow: /diski-na-avto/skoda-1/?page=12
Disallow: /diski-na-avto/skoda-1/?page=13
Disallow: /diski-na-avto/skoda-1/?page=14
Disallow: /diski-na-avto/skoda-1/?page=15
Disallow: /diski-na-avto/skoda-1/?page=16
Disallow: /diski-na-avto/skoda-1/?page=17
Disallow: /diski-na-avto/skoda-1/?page=18
Disallow: /diski-na-avto/skoda-1/?page=19
Disallow: /diski-na-avto/skoda-1/?page=20
Disallow: /diski-na-avto/skoda-1/?page=21
Disallow: /diski-na-avto/subaru-1/?page=2
Disallow: /diski-na-avto/toyota-1/?page=2
Disallow: /diski-na-avto/toyota-1/?page=3
Disallow: /diski-na-avto/toyota-1/?page=4
Disallow: /diski-na-avto/toyota-1/?page=5
Disallow: /diski-na-avto/toyota-1/?page=6
Disallow: /diski-na-avto/volkswagen-1/?page=2
Disallow: /diski-na-avto/volkswagen-1/?page=3
Disallow: /diski-na-avto/volkswagen-1/?page=4
Disallow: /diski-na-avto/volkswagen-1/?page=5
Disallow: /diski-na-avto/volkswagen-1/?page=6
Disallow: /diski-na-avto/volkswagen-1/?page=7
Disallow: /diski-na-avto/volkswagen-1/?page=8
Disallow: /diski-na-avto/volkswagen-1/?page=9
Disallow: /diski-na-avto/volkswagen-1/?page=10
Disallow: /diski-na-avto/volkswagen-1/?page=11
Disallow: /diski-na-avto/volkswagen-1/?page=12
Disallow: /diski-na-avto/volkswagen-1/?page=13
Disallow: /diski-na-avto/volkswagen-1/?page=14
Disallow: /diski-na-avto/volkswagen-1/?page=15
Disallow: /diski-na-avto/volkswagen-1/?page=16
Disallow: /diski-na-avto/volkswagen-1/?page=17
Disallow: /diski-na-avto/volkswagen-1/?page=18
Disallow: /diski-na-avto/volkswagen-1/?page=19
Disallow: /diski-na-avto/volkswagen-1/?page=20
Disallow: /diski-na-avto/volkswagen-1/?page=21
Disallow: /diski-na-avto/volkswagen-1/?page=22
Disallow: /diski-na-avto/volkswagen-1/?page=23
Disallow: /diski-na-avto/volkswagen-1/?page=24
Disallow: /diski-na-avto/volkswagen-1/?page=25
Disallow: /diski-na-avto/volkswagen-1/?page=26
Disallow: /diski-na-avto/volkswagen-1/?page=27
Disallow: /diski-na-avto/volkswagen-1/?page=28
Disallow: /diski-na-avto/volvo-1/?page=2
Disallow: /diski-na-avto/volvo-1/?page=3
Disallow: /diski-na-avto/volvo-1/?page=4
Disallow: /diski-na-avto/mercedes-1/?page=2
Disallow: /diski-na-avto/mercedes-1/?page=3
Disallow: /diski-na-avto/mercedes-1/?page=4
Disallow: /diski-na-avto/mercedes-1/?page=5
Disallow: /diski-na-avto/mercedes-1/?page=6
Disallow: /diski-na-avto/mercedes-1/?page=7
Disallow: /diski-na-avto/mercedes-1/?page=8
Disallow: /diski-na-avto/mercedes-1/?page=9
Disallow: /diski-na-avto/mercedes-1/?page=10
Disallow: /diski-na-avto/mercedes-1/?page=11
Disallow: /diski-na-avto/mercedes-1/?page=12
Disallow: /diski-na-avto/mercedes-1/?page=13
Disallow: /disla/?page=2
Disallow: /allante/?page=2
Disallow: /trw/?page=2
Disallow: /trw/?page=3
Disallow: /trw/?page=4
Disallow: /vossen-1/?page=2
Disallow: /vossen-1/?page=3
Disallow: /zw-2/?page=2
Disallow: /zw-2/?page=3
Disallow: /zw-2/?page=4
Disallow: /zw-2/?page=5
Disallow: /zw-2/?page=6
Disallow: /zw-2/?page=7
Disallow: /zw-2/?page=8
Disallow: /zw-2/?page=9
Disallow: /zw-2/?page=10
Disallow: /zw-2/?page=11
Disallow: /zw-2/?page=12
Disallow: /zw-2/?page=13
Disallow: /zw-2/?page=14
Disallow: /zw-2/?page=15
Disallow: /zw-2/?page=16
Disallow: /zw-2/?page=17
Disallow: /zw-2/?page=18
Disallow: /zw-2/?page=19
Disallow: /zw-2/?page=20
Disallow: /yokatta-rays/?page=2
Disallow: /stalnye-diski/?page=2
Disallow: /stalnye-diski/?page=3
Disallow: /diski-na-avto/acura-1/
Disallow: /diski-na-avto/cadillac-1/
Disallow: /diski-na-avto/chery-1/
Disallow: /diski-na-avto/dodge-1/
Disallow: /simplecheckout/
Disallow: /forgot-password/
Disallow: /tajvan.html
Disallow: /diski-na-avto/?page=23
Host: https://мой сайт.com.ua
Змінено користувачем Avrel
Надіслати
Поділитися на інших сайтах


Мое мнение про прятание админки в robots.txt.

 

Если она у вас стандартная (../admin/), то только начинающий хакер не знает ее урл в opencart и сделать на запрет на нее для роботов не страшно.

Но если она у вас другая и на нее (или из нее) нет ссылок на другие ресурсы со счетчиками (а сейчас они стоят почти на всех сайтах) то лучше ее не светить.

 

Для пущей безопасности, данную папку можно запаролить средствами веб-сервера (http://www.softtime.ru/info/apache.php?id_article=27)

 

И еще, для opencart есть модуль Simple Login Security повышающий безопасность входа в админку.

 

Вот тут я немного сомневаюсь, так ли это:

почти все существующие браузеры перед входом на страницу в введенную в строке урл сначала бегут в установленный в нем поисковик, т.е. поисковик все равно знает о вашей секретной странице!

 

!!! Всегда устанавливайте сложные пароли и проверяйте логи админки !!!

Надіслати
Поділитися на інших сайтах


 

Но если она у вас другая и на нее (или из нее) нет ссылок на другие ресурсы со счетчиками (а сейчас они стоят почти на всех сайтах) то лучше ее не светить.

 

Ну да, я тоже так думаю. Любой дурак откроет robots и сразу поймет , где админка. Оно нам надо? ...

Надіслати
Поділитися на інших сайтах


какой параметр в robots отвечает за ссылки в индексе отсортированные по разному?
В индекс залилась одна категория сайта с окончаниями вида:
 

/?limit=25&page=2
/?page=%7Bpage%7D
/?limit=21&page=3
/?limit=21&page=2
/?sort=rating&order=DESC&page=2
/?sort=rating&order=ASC&page=2
/?sort=rating&order=DESC&page=3
/?sort=rating&order=ASC&page=3
/?sort=pd.name&order=DESC&page=2
/?sort=p.price&order=ASC&page=2
/?sort=p.model&order=ASC&page=2
/?sort=p.price&order=ASC&page=3
/?sort=p.price&order=DESC&page=2
/?sort=p.model&order=DESC&page=2
/?sort=pd.name&order=DESC&page=3

Вредно ли это для категории?
По сути одна страница по разному отсортированная 

полагаю: Эти?
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
 
Что делать с теми ссылками которые уже в индексе после того как отредактировал robots?
Ждать пока поисковики сами удалят или вручную просить удалить их у поисковиков?
Змінено користувачем Blow
Надіслати
Поділитися на інших сайтах


 

 

Что делать с теми ссылками которые уже в индексе после того как отредактировал robots?
Ждать пока поисковики сами удалят или вручную просить удалить их у поисковиков?

 

Ничего не делать. Это не косяк. :-)

Надіслати
Поділитися на інших сайтах


Гугл продолжает блокировать ресурсы. На заблокированных ресурсах подсвечивает зеленым параметр allow/catalog 
То есть по идее не должен блокировать.
Проблема именно в catalog
Как только удаляю robots количество заблокированных страниц падает

Мой robots:
 

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Allow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Allow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking


Host: 
Sitemap:
Надіслати
Поділитися на інших сайтах


 

Гугл продолжает блокировать ресурсы. 

...

Проблема именно в catalog

 

 

...

Disallow: /catalog

...

 

Потом, в конце списка запретов идут разрешения (открытия):

 

Allow: /catalog/view/javascript

Allow: /catalog/view/image

Allow: /catalog/view/stylesheet

Allow: /catalog/view/*/javascript

Allow: /catalog/view/*/image

Allow: /catalog/view/*/stylesheet

 

Вот так мне открыли скрипты, стили и картинки. А сам каталог, как видите, закрыт.

 

Что Вы называете "блокирует"? Он и должен блокировать всё лишнее. В этом смысл, как бы.

Змінено користувачем florapraktik
Надіслати
Поділитися на інших сайтах


...

Disallow: /catalog

...

 

Потом, в конце списка запретов идут разрешения (открытия):

 

Allow: /catalog/view/javascript

Allow: /catalog/view/image

Allow: /catalog/view/stylesheet

Allow: /catalog/view/*/javascript

Allow: /catalog/view/*/image

Allow: /catalog/view/*/stylesheet

 

Вот так мне открыли скрипты, стили и картинки. А сам каталог, как видите, закрыт.

 

Что Вы называете "блокирует"? Он и должен блокировать всё лишнее. В этом смысл, как бы.

 

 

Заблокировано в файле robots.txt

Должен блокировать то что не нужно, а не страницы с товарами правильно ведь? В списке заблокированных именно страницы товаров, а не админки и прочего...

Спасибо за решение. Попробую.

 

Надіслати
Поділитися на інших сайтах


Кто нибудь ответьте пожалуйста почему нежелательно разрешать доступ к каталогу (Allow: /catalog) чем чревато?

Присоединяюсь к вопросу!

 

Как раз сидел и думал. Попробовал зайти в каталог через строку браузера в ответ получил:

You don't have permission to access /catalog/ on this server.

Т.е., меня туда не пустили. А роботов пускают? И вообще, как они туда попадают?

Были разговоры про админку, типа: "не надо, закрывать админку от роботов, ибо ибо они о ней и так не знают".

ОК, а про /catalog знают? Откуда?

 

ПыСы. Кажется, понял - из ссылок в хеде, вот откуда!

Выходит, надо закрывать, что бы бот не заблудился во всех этих вкумодах и кешах?

С другой стороны, а про вкумоды и кеши он откуда знает?

 

Blow, а какие урлы у Ваших "заблокированных страниц".

Как Вы сделали вывод, что закрыли роботам полезные страницы?

Когда Вы делаете "посмотреть как гуглебот", то что Вам отвечают?

Змінено користувачем florapraktik
Надіслати
Поділитися на інших сайтах


не везде catalog отдает 403

иногда открывается дерево категорий с файлами (Options Indexes)

 

а попадают туда часто по старой ссылке (другая cms была, перешли на опенкарт)

  • +1 1
Надіслати
Поділитися на інших сайтах

 

Blow, а какие урлы у Ваших "заблокированных страниц".

Как Вы сделали вывод, что закрыли роботам полезные страницы?

Когда Вы делаете "посмотреть как гуглебот", то что Вам отвечают?

 

опять зря паникую походу.

В расширенных данных (статусы индексирования) показал что поползли вверх заблокированные.

Bezimeni2j_4920425_24804735.jpg

Днём позже. В "Заблокированных ресурсах" поползли вниз. 

Это просто с allow/catalog

Сейчас пробую с тем что Вы посоветовали только ещё надо было открыть там "Allow: /catalog/view/theme/"

 

Bezimeni1j_3609278_24804744.jpg

Когда смотрел как гуглебот c allow/catalog он (бот) отображал нормально страницу так как полагается и в нем не было заблокированных файлов и скриптов.

Просто удивился почему поползли вверх заблокированные. Сейчас думаю что без robots он добавил в индекс бесполезные страницы, и с robots и allow/catalog

начал блокировать бесполезные и у меня бомбануло. Потому что в списке заблокированных пока что отображаются именно полезные страницы с товарами. 

Причем в блок попали и новые страницы которые были добавлены уже при allow/catalog

отсюда и смутился 

 

Змінено користувачем Blow
Надіслати
Поділитися на інших сайтах


Верните на место свой роботс.тхт с закрытым catalog, но добавьте в конце списка то, что я написал - откроете скрипты, стили и картинки.

Потом скормите "посмотреть как гуглебот" урлы со страницы товара, со страницы категории и что Вы там ещё хотите ему показать. И почитайте, что скажет.

Всё нормально должно быть, по идее.

То, что в результате Ваших экспериментов были проиндексированы лишние дубли, то это не влияет на поисковый рейтинг сайта (если Вас это беспокоит).

 

На будущее: привыкайте аккуратней с экспериментами - не делайте телодвижений, смысла которых не понимаете (зачем было сносить роботс.тхт?).

Надіслати
Поділитися на інших сайтах


Верните на место свой роботс.тхт с закрытым catalog, но добавьте в конце списка то, что я написал - откроете скрипты, стили и картинки.

Потом скормите "посмотреть как гуглебот" урлы со страницы товара, со страницы категории и что Вы там ещё хотите ему показать. И почитайте, что скажет.

Всё нормально должно быть, по идее.

То, что в результате Ваших экспериментов были проиндексированы лишние дубли, то это не влияет на поисковый рейтинг сайта (если Вас это беспокоит).

 

На будущее: привыкайте аккуратней с экспериментами - не делайте телодвижений, смысла которых не понимаете (зачем было сносить роботс.тхт?).

 Перенес сайт на новый OpenCart (с 1.5 на 2.3) и на другой сервер и шаблон новый. По умолчанию в новом open cart,  Robots небыло. Когда закинул не обратил внимание что она начал блокать всё подряд. Для этого и снёс. 

Да так как Вы написали и сделал. + добавил это  "Allow: /catalog/view/theme/"

Матюкался робот на это

Надіслати
Поділитися на інших сайтах


  • 5 weeks later...

Добрый день!

В проверке ответа сервера, всех страниц категорий и товаров, выдает следующее:

Данный URL запрещён к индексированию в файле robots.txt 

файл robots.txt стандартный, только добавлены host и sitemap.

Подскажите пожалуйста, в чем может быть проблема?

Надіслати
Поділитися на інших сайтах


1 час назад, Delight сказал:

Добрый день!

В проверке ответа сервера, всех страниц категорий и товаров, выдает следующее:

Данный URL запрещён к индексированию в файле robots.txt 

файл robots.txt стандартный, только добавлены host и sitemap.

Подскажите пожалуйста, в чем может быть проблема?

Прошу прощения, разобрался

Надіслати
Поділитися на інших сайтах


  • 3 months later...

Подскажите  в яндексе 2000 страниц  и  гугле 3300 страниц при этом товара на сайта около 2000 товаров  это нормально или файл тхт не правильно сделали. Подскажите т.к. в этом не особо силен .файл ниже. Спасибо за ответ

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Host: galcom.com.ua

Надіслати
Поділитися на інших сайтах


  • 1 month later...

А зачем вот это все дублируется?

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

Разве нельзя так написать?

Disallow: /*sort

Disallow: /*order

Disallow: /*limit

и тд.

 

А эта строка Disallow: /index.php?route=product/product*&manufacturer_id=

равнозначна вот этой Disallow: /index.php?route=product/product

Так что может так?

Disallow: /*manufacturer_id

Змінено користувачем AlfredS
  • +1 1
Надіслати
Поділитися на інших сайтах


  • 1 month later...

Всем привет.

Посмотрите мой robots.txt, кому не трудно. Может что-то поправить нужно.

 

Яндекс.Вебмастер выдает такие результаты:

Загруженные страницы - 1013
Страницы в поиске - 504
Исключённые страницы - 9

 

User-agent: *
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /.well-known
Disallow: /smslog
Disallow: /cgi-bin/
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /404
Disallow: /route=account/*
Disallow: /route=account/login*
Disallow: /route=checkout/*
Disallow: /route=checkout/cart*
Disallow: /route=affiliate/*
Disallow: /route=product/search*
Disallow: /route=uni_blog/search*
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product*
Disallow: /index.php?route=caregory*
Disallow: /index.php?route=manufacturer*
Disallow: /?page=*
Disallow: /?sort=*
Disallow: /?sort*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /?order*
Disallow: /&order=*
Disallow: /?limit=*
Disallow: /&limit=*
Disallow: /?filter_name=*
Disallow: /&filter_name=*
Disallow: /?filter_sub_category=*
Disallow: /&filter_sub_category=*
Disallow: /?filter_description=*
Disallow: /&filter_description=*
Disallow: /?tracking=*
Disallow: /&tracking=*
Disallow: /?manufacturer*
Disallow: /?keyword*
Disallow: /?tag=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Sitemap: site.ru/sitemap.xml

 

User-agent: Yandex
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Disallow: /.well-known
Disallow: /smslog
Disallow: /cgi-bin/
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /404
Disallow: /route=account/*
Disallow: /route=account/login*
Disallow: /route=checkout/*
Disallow: /route=checkout/cart*
Disallow: /route=affiliate/*
Disallow: /route=product/search*
Disallow: /route=uni_blog/search*
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product*
Disallow: /index.php?route=caregory*
Disallow: /index.php?route=manufacturer*
Disallow: /?page=*
Disallow: /?sort=*
Disallow: /?sort*
Disallow: /&sort=*
Disallow: /?order=*
Disallow: /?order*
Disallow: /&order=*
Disallow: /?limit=*
Disallow: /&limit=*
Disallow: /?filter_name=*
Disallow: /&filter_name=*
Disallow: /?filter_sub_category=*
Disallow: /&filter_sub_category=*
Disallow: /?filter_description=*
Disallow: /&filter_description=*
Disallow: /?tracking=*
Disallow: /&tracking=*
Disallow: /?manufacturer*
Disallow: /?keyword*
Disallow: /?tag=
Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description
Host: site.ru
Sitemap: site.ru/yandex.xml

Змінено користувачем storer
Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку
×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.