robots.txt

[snastik]

Allow: / Вам не поможет так как все что не закрыто и так разрешено

что именно у Вас произошло какие страницы и после чего пропали ?

что пишет яндекс в вебмастере ?

[FOX864]

HTTP-статус: Ресурс не найден (404) 257Документ запрещен в файле robots.txt 2973Документ является неканоническим 940

Страниц в поиске 2811

Количество адресов у сайта в sitemap которые не закрытые 4852 но после установки чпу 7 месяцев назад так и не разу всех не увидел в индексе до было даже больше около 10000 в индексе.

[snastik]

вот что мне надут ссылки на ваш вебмастер ?

в индексе может быть и миллион если дублей наплодить только толку от них

сколько страниц отправлено по сайтмапу ?

сколько пишет участвует в поиске ?

сколько исключено из поиска ?

[FOX864]

Используется при обходе

Версия от 13.02.2013

Содержит 4852 страницы

А в индексе 2811 страниц

Не хватает 2041 страниц притом они не запрещены и имеют атрибут cannonical

[snastik]

покажите пару тройку примеров страниц из 2041

[FOX864]

Я не знаю где они прячутся та как не ту такой цифры не где. =(

[zevs]

ребята посмотрите мой роботс . чево-то не индексируются страницы. не могу понять подскажите чего добавить чего убрат.

роботс большой. я закрыл от индексации не которые товары там описание к товаром похож поэтому закрыл. оставил по одной страницы для поиска хватит.

 

 

User-agent: *

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

 

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /index.php?route=product/manufacturer

 

Disallow: /index.php?route=information

Disallow: /index.php?route=product

Disallow: /index.php?route=product/category

 

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

 

Disallow: /account/login

Disallow: /account

Disallow: /account/

 

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

 

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Eco_Weave.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Sakura_Pink.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Wildberry_Deluxe.html

 

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Aubergine_Dream.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Black_Sapphire.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Sakura_Pink.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Wildberry_Deluxe.html

 

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Blue_Sky_Eclipse.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Supernova.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Toro_Red.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Aubergine_Dream.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Black_Sapphire.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Eco_Weave.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Hot_choсolate.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Sakura_Pink.html

 

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Contempo_Brown.html

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Embassy_Black.html

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Hellfire_Red.html

 

Disallow: /Ambient-Lounge/Roma_Sofa/Roma_Sofa-Cafe_Latte.html

 

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Aquamarine.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounge-Eco_Weave.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Luscious_Grey.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Mud_Cake_Chocolate.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Supernova.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Toro_Red.html

 

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Eco_Weave.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Luscious_Grey.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Wildberry.html

 

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Blue_Lagoon.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Eco_Weave.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Goa_Temple.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-NYC-Apartment_Luscious_Grey.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Osaka.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Wildberry.html

 

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger_Aquamarine.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Mud_Cake_Chocolate.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Supernova.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Toro_Red.html

 

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Black_Sapphire.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Eco_Weave.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Luscious_Grey.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Wildberry.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Aubergine_Dream.html

 

Disallow: /Ambient-Lounge/Pet_Lounge/Pet_Lounge-medium.html

 

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Aubergine_Dream.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Blue_Sky_Eclipse.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Cafe_Latte.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Contempo_Brown.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Deep_Mahogany.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Embassy_Black.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Hellfire_Red.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Hot_Chocolate.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Royal_Black.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Sakura_Pink.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Santorini_White.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Eco_Weave.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Black_Sapphire.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Wildberry_Deluxe.html

 

Disallow: /Ljubimoe_Kreslo_kat/Napolniteli/Shariki_penopolisterola.html

Disallow: /Ljubimoe_Kreslo_kat/Napolniteli/Shariki_penopolisterola_300.html

 

Disallow: /Vozvrat_tovara.html

Disallow: /Nashi_partnery.html

Disallow: /Politika_Bezopasnosti.html

Disallow: /Uslovija_soglashenija.html

Disallow: /index.php?route=information/information&information_id=5

Disallow: /Sposoby_oplaty.html

Disallow: /Informacija_o_dostavke.html

Disallow: /Ambient-Lounge/Funnelweb/Funnelweb_kat.html

 

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

 

User-agent: Yandex

Disallow: /*route=account/login

Disallow: /*route=checkout/cart

 

Disallow: /*route=account/

Disallow: /*route=affiliate/

Disallow: /*route=checkout/

Disallow: /*route=product/search

Disallow: /index.php?route=product/product*&manufacturer_id=

 

Disallow: /index.php?route=product/manufacturer

 

Disallow: /index.php?route=information

Disallow: /index.php?route=product

Disallow: /index.php?route=product/category

 

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Eco_Weave.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Sakura_Pink.html

Disallow: /Ambient-Lounge/Acoustic_Sofa/Acoustic_Sofa-Wildberry_Deluxe.html

 

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Aubergine_Dream.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Black_Sapphire.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Sakura_Pink.html

Disallow: /Ambient-Lounge/Butterfly_Sofa/Butterfly_Sofa-Wildberry_Deluxe.html

Disallow:

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Blue_Sky_Eclipse.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Supernova.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Toro_Red.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Aubergine_Dream.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Black_Sapphire.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Eco_Weave.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Hot_choсolate.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Luscious_Grey.html

Disallow: /Ambient-Lounge/Evolution_Sofa/Evolution_Sofa-Sakura_Pink.html

 

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Contempo_Brown.html

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Embassy_Black.html

Disallow: /Ambient-Lounge/Fiorenze/Fiorenze_Leather_Sofa-Hellfire_Red.html

 

Disallow: /Ambient-Lounge/Roma_Sofa/Roma_Sofa-Cafe_Latte.html

 

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Aquamarine.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounge-Eco_Weave.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Luscious_Grey.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Mud_Cake_Chocolate.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Supernova.html

Disallow: /Ambient-Lounge/Studio_Lounger/Studio_Lounger-Toro_Red.html

 

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Eco_Weave.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Luscious_Grey.html

Disallow: /Ambient-Lounge/Twin_Couch/Twin_Couch-Wildberry.html

 

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Blue_Lagoon.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Eco_Weave.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Goa_Temple.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-NYC-Apartment_Luscious_Grey.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Osaka.html

Disallow: /Ambient-Lounge/Zen_Lounger/Zen_Lounger-Wildberry.html

 

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger_Aquamarine.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Mud_Cake_Chocolate.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Supernova.html

Disallow: /Ambient-Lounge/Сonversion_Lounger/Conversion_Lounger-Toro_Red.html

 

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Black_Sapphire.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Eco_Weave.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Hot_Chocolate.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Luscious_Grey.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Wildberry.html

Disallow: /Ambient-Lounge/Versa_Table/Versa_Table-Aubergine_Dream.html

 

Disallow: /Ambient-Lounge/Pet_Lounge/Pet_Lounge-medium.html

 

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Aubergine_Dream.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Blue_Sky_Eclipse.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Cafe_Latte.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Contempo_Brown.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Deep_Mahogany.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Embassy_Black.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Hellfire_Red.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Hot_Chocolate.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Royal_Black.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Sakura_Pink.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Santorini_White.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Eco_Weave.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Black_Sapphire.html

Disallow: /Ambient-Lounge/puf_Ottoman/Ottoman-Wildberry_Deluxe.html

 

Disallow: /Ljubimoe_Kreslo_kat/Napolniteli/Shariki_penopolisterola.html

Disallow: /Ljubimoe_Kreslo_kat/Napolniteli/Shariki_penopolisterola_300.html

 

Disallow: /Vozvrat_tovara.html

Disallow: /Nashi_partnery.html

Disallow: /Politika_Bezopasnosti.html

Disallow: /Uslovija_soglashenija.html

Disallow: /index.php?route=information/information&information_id=5

Disallow: /Sposoby_oplaty.html

Disallow: /Informacija_o_dostavke.html

Disallow: /Ambient-Lounge/Funnelweb/Funnelweb_kat.html

 

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

 

Disallow: /account/login

Disallow: /account

Disallow: /account/

 

Disallow: /index.php?route=account

Disallow: /index.php?route=checkout/cart

Disallow: /index.php?route=checkout/shipping

Disallow: /index.php?route=common/home

Disallow: /index.php?route=product/product/captcha

Disallow: /index.php?route=product/search

 

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Clean-param: tracking

 

Host: мой сайт.ru

Allow: /

Sitemap: http://мойсайт/index.php?route=feed/google_sitemap

[daslashi]

Добрый день. Очень нужна помощь.

Под спойлером мой robots.txt.

Сегодня добавил карту сайта в Google, на что он выдал ошибку: При попытке доступа к вашему файлу Sitemap произошла ошибка. "URL, запрещенный файлом robots.txt"

Не могу понять, чем он недоволен.

 

И еще пара вопросов:

1. Disallow: /*&sort= и т.д. Нужно ли прописывать с "&" если в движке вроде только "?" используется?

2. Нужно ли закрывать все эти папки?

Disallow: /admin/

Disallow: /catalog/
Disallow: /download/
Disallow: /system/
Disallow: /vqmod/

 

User-agent: *
Disallow: /#signup
Disallow: /account/
Disallow: /address-book/
Disallow: /affiliate-forgot-password/
Disallow: /affiliate-login/
Disallow: /affiliate-logout/
Disallow: /affiliate-payment-options/
Disallow: /affiliates/
Disallow: /affiliate-tracking-code/
Disallow: /affiliate-transactions/
Disallow: /change-affiliate-password/
Disallow: /change-password/
Disallow: /checkout/
Disallow: /compare-products/
Disallow: /contact-us/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /downloads/
Disallow: /edit-account/
Disallow: /edit-affiliate-account/
Disallow: /forgot-password/
Disallow: /gift-vouchers/
Disallow: /login/
Disallow: /logout/
Disallow: /newsletter/
Disallow: /not-found/
Disallow: /order-history/
Disallow: /request-return/
Disallow: /returns/
Disallow: /reward-points/
Disallow: /search/
Disallow: /shopping-cart/
Disallow: /special-prices/
Disallow: /transactions/
Disallow: /vouchers/
Disallow: /wishlist/

Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system/
Disallow: /vqmod/

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?tracking=
Disallow: /*&tracking=
Allow: /google-sitemap/

Sitemap: http://stotools.com.ua/google-sitemap/
Host: http://stotools.com.ua


User-agent: Googlebot
Disallow: /#signup
Disallow: /account/
Disallow: /address-book/
Disallow: /affiliate-forgot-password/
Disallow: /affiliate-login/
Disallow: /affiliate-logout/
Disallow: /affiliate-payment-options/
Disallow: /affiliates/
Disallow: /affiliate-tracking-code/
Disallow: /affiliate-transactions/
Disallow: /change-affiliate-password/
Disallow: /change-password/
Disallow: /checkout/
Disallow: /compare-products/
Disallow: /contact-us/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /downloads/
Disallow: /edit-account/
Disallow: /edit-affiliate-account/
Disallow: /forgot-password/
Disallow: /gift-vouchers/
Disallow: /login/
Disallow: /logout/
Disallow: /newsletter/
Disallow: /not-found/
Disallow: /order-history/
Disallow: /request-return/
Disallow: /returns/
Disallow: /reward-points/
Disallow: /search/
Disallow: /shopping-cart/
Disallow: /special-prices/
Disallow: /transactions/
Disallow: /vouchers/
Disallow: /wishlist/

Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system/
Disallow: /vqmod/

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?tracking=
Disallow: /*&tracking=

Allow: /google-sitemap/


User-agent: Yandex
Disallow: /#signup
Disallow: /account/
Disallow: /address-book/
Disallow: /affiliate-forgot-password/
Disallow: /affiliate-login/
Disallow: /affiliate-logout/
Disallow: /affiliate-payment-options/
Disallow: /affiliates/
Disallow: /affiliate-tracking-code/
Disallow: /affiliate-transactions/
Disallow: /change-affiliate-password/
Disallow: /change-password/
Disallow: /checkout/
Disallow: /compare-products/
Disallow: /contact-us/
Disallow: /create-account/
Disallow: /create-affiliate-account/
Disallow: /downloads/
Disallow: /edit-account/
Disallow: /edit-affiliate-account/
Disallow: /forgot-password/
Disallow: /gift-vouchers/
Disallow: /login/
Disallow: /logout/
Disallow: /newsletter/
Disallow: /not-found/
Disallow: /order-history/
Disallow: /request-return/
Disallow: /returns/
Disallow: /reward-points/
Disallow: /search/
Disallow: /shopping-cart/
Disallow: /special-prices/
Disallow: /transactions/
Disallow: /vouchers/
Disallow: /wishlist/

Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system/
Disallow: /vqmod/

Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?tracking=
Disallow: /*&tracking=

Clean-param: tracking
Clean-param: filter_name
Clean-param: filter_sub_category
Clean-param: filter_description

Allow: /google-sitemap/

[qwert5005]

Я админа из robots.txt удалил :) Не знаю может зря, но кто то писал, что это лучше для безопасности сайта. 

[daslashi]

Я админа из robots.txt удалил :) Не знаю может зря, но кто то писал, что это лучше для безопасности сайта. 

Я уже тоже удалил. И еще удалил Disallow: /#signup. Эта строка блокировала индексацию основной страницы.

[qwert5005]

daslashi я слеши в конце не ставил. Например Disallow: /catalog/  у меня Disallow: /catalog
У меня проиндексировалась куча ненужных страниц. Почему то в моем файле robots.txt (я его скачал с какого то сайта) ссылки имеют такой вид Disallow: /*route=account/login  я прописал дополнительно Disallow: /login 
Посмотрю, уберутся страницы из выдачи или нет. Если уберутся, буду из роботса ненужные ссылки удалять.
Сейчас обнаружил, что проиндексировались категории, а страница с товаром не проиндексировалась((. Вот мой robots.txt  Может что с ним не так?

P/S страница с товаром проиндексировалась, но все равно фаил robots.txt мне кажется странным.

 

User-agent: *
Disallow: /login
Disallow: /shopping-cart
Disallow: /warranty
Disallow: /shipping_and_payment
Disallow: /contact-us
Disallow: /voucher
Disallow: /specials
Disallow: /create-affiliate-account
Disallow: /affiliate
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Host: сайт.ru

User-agent: Yandex
Disallow: /login
Disallow: /shopping-cart
Disallow: /warranty
Disallow: /shipping_and_payment
Disallow: /contact-us
Disallow: /voucher
Disallow: /specials
Disallow: /create-affiliate-account
Disallow: /affiliate
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?manufacturer
Disallow: /*?keyword
Host:  сайт.ru
Clean-param: tracking

[qwert5005]

Что то я совсем запутался. Закрывает ли robots.txt  ссылки от индексации или нет?  Вбил сейчас закрытую ссылку в гугл и вот, что он мне выдал: "Ссылка - Доставка и оплата Магазин ... "  и под ссылкой надпись  - "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."    Но ведь гугл ее все таки проиндексировал, раз в поиске выдал((.  Может надо еще как то ссылки закрывать?   

[dmibobkov]

Подскажите пожалуйста, как закрыть от индексации все страницы сайта кроме главной Яндекса и Гугла?

Поиск дал вот такой вариант, но мне кажется этого мало.

 

User-agent: *
Disallow: /
Allow: /$

[puno]

Подскажите пожалуйста, как закрыть от индексации все страницы сайта кроме главной Яндекса и Гугла?

Поиск дал вот такой вариант, но мне кажется этого мало.

 

User-agent: *

Disallow: /

Allow: /$

 

Это рабочий вариант, для главной с включенной ЧПУ.

[jekass]

Добрый день! А нужно в robots.txt закрывать доступ к ссылкам типа (ссылки которые генерируются при фильтрации товара через окфильтер) - /?filter_ocfilter=m:16 если да, то как правильно? Нужно прописывать просто /?filter_ocfilter= или /?filter_ocfilter=m? И для каких страниц еще нужно закрыть доступ? Заранее спасибо.

[puno]

Добрый день! А нужно в robots.txt закрывать доступ к ссылкам типа (ссылки которые генерируются при фильтрации товара через окфильтер) - /?filter_ocfilter=m:16 если да, то как правильно? Нужно прописывать просто /?filter_ocfilter= или /?filter_ocfilter=m? И для каких страниц еще нужно закрыть доступ? Заранее спасибо.

 

Для фильтров будет так

 

Disallow: /*filter

[jekass]

Спасибо большое! Добавил) А вот еще, если на сайте прописаны SEO Url для всех товаров, то ссылки вида /index.php?route=product/product&path=123_127&product_id=1576 нужно закрыть? Получится вот так - Disallow: /index.php?route=product/product*&product_id=? 

Так же что нужно делать если прописаны SEO Url, но все равно переходит по ссылке /*route=checkout/cart , хотя как я понимаю с этой страницы его переадресовывает просто на /checkout/, с этим нужно что-то делать или это нормально? Также и с другими страницами. 

Вот файл роботс: Что лишнее? Может что-то не добавил?

User-agent: *
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=account 
Disallow: /index.php?route=account/account 
Disallow: /index.php?route=checkout/cart 
Disallow: /index.php?route=checkout/shipping 
Disallow: /index.php?route=common/home 
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search 
Disallow: /index.php?route=information/contact/captcha 
Disallow: /index.php?route=information/information&information_id= 
Disallow: /index.php?route=account/login 
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /cache 
Disallow: /niks 
Disallow: /export
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*filter 

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /cache 
Disallow: /niks 
Disallow: /export 
Disallow: /*?sort=
Disallow: /*?sort 
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order 
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*filter

Clean-param: tracking

Заранее спасибо за помощь) 

[puno]

Спасибо большое! Добавил) А вот еще, если на сайте прописаны SEO Url для всех товаров, то ссылки вида /index.php?route=product/product&path=123_127&product_id=1576 нужно закрыть? Получится вот так - Disallow: /index.php?route=product/product*&product_id=? 

Так же что нужно делать если прописаны SEO Url, но все равно переходит по ссылке /*route=checkout/cart , хотя как я понимаю с этой страницы его переадресовывает просто на /checkout/, с этим нужно что-то делать или это нормально? Также и с другими страницами. 

Вот файл роботс: Что лишнее? Может что-то не добавил?

Заранее спасибо за помощь) 

 

 

Все просто файл роботс: почитайте здесь https://opencartforum.com/topic/26262-%D1%83%D0%B1%D0%B8%D1%80%D0%B0%D0%B5%D0%BC-%D0%B4%D1%83%D0%B1%D0%BB%D0%B8-%D0%B2-robots/ для развития пригодится.

 

 

 

Что бы ответить на остальное мне нужно знать

У вас OpenCart и чем пользуетесь для просмотра сайтов?

IE, Chrome......

[jekass]

ocStore 1.5.4.1, обычно захожу через оперу. 

Просмотрел данную тему, вот есть два интересующих пункта
Disallow: /*page - закрывает от индексации все страницы начиная с первой или со второй (/?page=2)? Или как действует?
Disallow: /*limit - за что отвечает?

И нужно ли добавлять Disallow: /admin, так как в разных источниках пишут по разному? 

Заранее спасибо за информацию)

[puno]

ocStore 1.5.4.1, обычно захожу через оперу. 

Просмотрел данную тему, вот есть два интересующих пункта

Disallow: /*page - закрывает от индексации все страницы начиная с первой или со второй (/?page=2)? Или как действует?

Disallow: /*limit - за что отвечает?

И нужно ли добавлять Disallow: /admin, так как в разных источниках пишут по разному? 

Заранее спасибо за информацию)

 

Понятно

 

ocStore 1.5.4.1, обычно захожу через оперу.

SeoPro работает?

 

Disallow: /*page - закрывает от индексации все страницы начиная с первой или со второй (/?page=2)? Или как действует?

Закрывает все страницы.

 

Disallow: /*limit - за что отвечает? 

Это отображение товаров на странице.

 

И нужно ли добавлять Disallow: /admin, так как в разных источниках пишут по разному?

Это бред там нет счетчика не надо.

[jekass]

 

 

SeoPro работает?

Да работает.

 

 

 

Disallow: /*page - закрывает от индексации все страницы начиная с первой или со второй (/?page=2)? Или как действует?

Закрывает все страницы.

Стоит закрывать их все от индексации или лучше чтобы индексировало? Или это будут только лишние дубли? 

 

 

Disallow: /*limit - за что отвечает? 

Это отображение товаров на странице.

Если отключить, то также устранит дубли вариантов отображения - по 15, 30 и тд, правильно? Значит будет полезным? 

[stn1234]

Сделал по совету colordays вот такой роботс:

User-Agent: *
# Запрет индексации всего сайта
Disallow: /

# Индексация главной страницы
Allow: /$

# Индексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov

# Запрет индексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*

# Запрет индексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

# Индексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml

Clean-param: tracking

User-agent: Yandex
# Запрет индексации всего сайта
Disallow: /

# Индексация главной страницы
Allow: /$

# Индексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov

# Запрет индексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*

# Запрет индексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

# Индексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml

Clean-param: tracking

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Есть у кого-нибудь что-нибудь сказать плохого/хорошего к такой манере "ведения дел" с ботами? Я к тому, что тут принципиально другой подход, от запрета к разрешению, а не наоборот. Мне почему то показалось это более логичным. Что Вы думаете, уважаемые форумчане???

Заранее спасибо за ответы.

[V4mp]

Мне думается что этот роботс логичен и шикарен. Буду пробовать у себя, потом отпишусь о результатах....  :-)
Ну разве чуток модернизировать и прописать дополнительно для User-agent: Googlebot ....
Ну и возможно открыть доступ в папку кэша картинок....

Ну так не будут индексироваться не только товары, но и сама подкатегория, закрытая слэшем --->

# Запрет индексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

[corvinus]

Сделал по совету colordays вот такой роботс:

User-Agent: *
# Запрет индексации всего сайта
Disallow: /

# Индексация главной страницы
Allow: /$

# Индексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov

# Запрет индексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*

# Запрет индексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

# Индексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml

Clean-param: tracking

User-agent: Yandex
# Запрет индексации всего сайта
Disallow: /

# Индексация главной страницы
Allow: /$

# Индексировать категорию katalog-tovarov и все, что в ней находится
Allow: /katalog-tovarov

# Запрет индексировать динамические страницы
Disallow: /katalog-tovarov/*?*
Disallow: /katalog-tovarov/*&*
Disallow: /katalog-tovarov/*php*

# Запрет индексировать товары, находящиеся в подкатегории novinki
Disallow: /katalog-tovarov/novinki/*

# Индексировать информационные страницы
Allow: /about.html
Allow: /informaciya-o-dostavke.html
Allow: /politika-bezopasnosti.html
Allow: /usloviya-soglasheniya.html
Allow: /blog
Allow: /actions
Allow: /contacts
Allow: /sitemap.xml

Clean-param: tracking

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Есть у кого-нибудь что-нибудь сказать плохого/хорошего к такой манере "ведения дел" с ботами? Я к тому, что тут принципиально другой подход, от запрета к разрешению, а не наоборот. Мне почему то показалось это более логичным. Что Вы думаете, уважаемые форумчане???

Заранее спасибо за ответы.

 

Подскажите, пожалуйста. Как данный robots.txt подходит для товаров, у которых seo-url вида site.com/product.html  ?  

[Elena8]

Здравствуйте, подскажите как закрыть для индексации товары? при том что у товаров прописаны seo_url и что еще закрыть что бы не попали в индекс.