robots.txt

Helloween · 11 лютого 2015

Здравствуйте, подскажите как закрыть для индексации товары? при том что у товаров прописаны seo_url и что еще закрыть что бы не попали в индекс.

Вы торгуете чем-то запрещенным?

- Спайсами?

- Оружием?

- Людьми?

Товары, если они легальны, наоборот всеми правдами и неправдами все пытаются пропихнуть в индекс! И вся индустрия поискового продвижения на этом держится. А вы - закрыть от индексации...

Если вам не нужны товары в индексе - можете вообще весь сайт закрыть от индексации и будет вам счастье.

Можете, кстати, еще ссылку на свой магазинчик сразу в компетентные органы разослать :)

Код robots.txt для вас:

User-Agent: *
Disallow: /

Elena8 · 11 лютого 2015

Вы торгуете чем-то запрещенным?

- Спайсами?

- Оружием?

- Людьми?

Товары, если они легальны, наоборот всеми правдами и неправдами все пытаются пропихнуть в индекс! И вся индустрия поискового продвижения на этом держится. А вы - закрыть от индексации...

Если вам не нужны товары в индексе - можете вообще весь сайт закрыть от индексации и будет вам счастье.

Можете, кстати, еще ссылку на свой магазинчик сразу в компетентные органы разослать :)

Код robots.txt для вас:
User-Agent: *
Disallow: /

нет проверяю загрузку товаров, пока не закончу что бы не попали в сеть

Elena8 · 11 лютого 2015

Код robots.txt для вас:
User-Agent: *
Disallow: /

а это поможет точно все закрыть для всех поисковиков?

Helloween · 11 лютого 2015

а это поможет точно все закрыть для всех поисковиков?

Теоретически - это закрывает весь сайт полностью от индексации всеми поисковиками.

Но реально - есть роботы, которые игнорируют эти инструкции. Ходит слух о том, что и гуглбот начал игнорировать инструкции файла роботов. Не знаю, насколько этому можно верить, но могу вас уверить в том, что пока вы сами не добавите ссылки на свой сайт в поисковики, или на другие сайты - вряд ли поисковики заинтересуются вашим сайтом.

А вот чужие скрипты, которые занимаются парсингом - вполне могут заглянуть и своровать все, что найдут. Но от таких ботов файл роботс точно не защитит.

fijneman · 12 березня 2015

Сегодня вылезла очередная статейка на хабре от блога гугла. Намекают, что нужно разрешить боту сканить css'ки и скрипты. Решил расшарить только стили

http://habrahabr.ru/company/google/blog/252749/

Helloween · 12 березня 2015

Интересно. Посмотрел гугл-вебмастерс, заменил запрет на доступ ко всей папке catalog на запрет на доступ к файлам шаблона и остальным файловым папкам (контроллеры, модели, языки)

То есть, вместо строки

Disallow: /catalog

Теперь у меня 4 строки

Disallow: /catalog/view/theme/default/template
Disallow: /catalog/model
Disallow: /catalog/language
Disallow: /catalog/controller

barrel · 13 березня 2015

Здравствуйте!

Яндекс проиндексировал кучу страниц по ссылкам вида:

мой-сайт.ру/index.php?route=product/quickview&
и
мой-сайт.ру/index.php?route=product/quickview&manufacturer_id=11&

Это связано с быстрым просмотром, если я правильно понимаю.

Как правильно закрыть от индексирования в robots.txt?

Helloween · 13 березня 2015

По-моему, в теме уже писали.

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?page=
Clean-param: tracking

barrel · 13 березня 2015

По-моему, в теме уже писали.

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?page=
Clean-param: tracking

Такой же и у меня.

Чего не хватает, сами то разобрались? С вашим robots.txt все ссылки быстрого просмотра проиндексируются.

Disallow: /index.php?route=product

Helloween · 13 березня 2015

Ну добавьте

Disallow: /*route*

Andris · 14 березня 2015

Подскажите, ссылку не карту сайта в конце robots нужно ставить?

У меня 2 последние строки выглядят так:

Host: site.ru

Sitemap: http://site.ru/index.php?route=feed/google_sitemap

Заранее благодарю!

XXXBOY · 14 березня 2015

Доброго времени суток всем.

Такой вопрос у знающим.

У меня в определенной категории добавляются товары с количество 1, и при продаже эти товары удаляю (т.е этих товаров только по 1)

Мне надо оставив в индексе саму категорию убрать все товары что в этой категории, возможно это как то сделать?

не прописывать же мне каждый товар в ручную

Helloween · 16 березня 2015

Подскажите, ссылку не карту сайта в конце robots нужно ставить?

У меня 2 последние строки выглядят так:

Host: site.ru

Sitemap: http://site.ru/index.php?route=feed/google_sitemap

Заранее благодарю!

Если вы не создаете собственную карту сайта - можете оставить стандартную запись, которая пишется движком ИМ. Если делаете свою, в xml, то лучше положить ее в корень сайта и, соответственно, указать на нее прямую ссылку: http://site.ru/sitemap.xml

Да, в конце.

Andris · 16 березня 2015

Если вы не создаете собственную карту сайта - можете оставить стандартную запись, которая пишется движком ИМ. Если делаете свою, в xml, то лучше положить ее в корень сайта и, соответственно, указать на нее прямую ссылку: http://site.ru/sitemap.xml

С точки зрения поисковика имеет значение, какая карта - сгенерированная или созданная руками и положенная в корень сайта?

Helloween · 16 березня 2015

С точки зрения поисковика имеет значение, какая карта - сгенерированная или созданная руками и положенная в корень сайта?

С точки зрения опыта - генерация карты может занимать больше времени, чем отводится тем же Яндексом на ее считывание. Таким образом, если товаров много, Яндекс ее так и не увидит. Поэтому, лучше регулярно обновлять статичную карту сайта в XML-формате. Ну и, скажем так, общепринятое расположение карты сайта - в корне, поэтому, лучше класть ее именно в корень. Тогда поисковики могут прочитать ее даже если путь к ней не указан в robots.txt

Andris · 16 березня 2015

...лучше регулярно обновлять статичную карту сайта в XML-формате. Ну и, скажем так, общепринятое расположение карты сайта - в корне, поэтому, лучше класть ее именно в корень. Тогда поисковики могут прочитать ее даже если путь к ней не указан в robots.txt

Таким образом, Google Sitemap нужно отключить в админке в "Каналах продвижения"?

Или 2 карты сайта (сгенерированная и "ручная") не повредят друг другу?

Helloween · 16 березня 2015

Таким образом, Google Sitemap нужно отключить в админке в "Каналах продвижения"?

Или 2 карты сайта (сгенерированная и "ручная") не повредят друг другу?

Не повредят

korovke · 20 березня 2015

Пришло и мое время по настройке робота (ocStore 1.5.5.1.2), но тут же возникло несколько вопросов:

1. многие пишут: "настроил robots.txt, сейчас проверю его роботу" - о чем идет речь? Сайт зарегил в google поисковике и yandex (правда в яндекс пока не проиндексирован почему-то...) - как-то можно проверить работу робота?

http://www.google.com/analytics/

https://www.google.com/webmasters

https://webmaster.yandex.ru

2. В файле по умолчанию прописано одно и тоже для User-agent: * и User-agent: Yandex. Смысл? Разве User-agent: * не применим для всех поисковых ботов? Зачем для яндекса прописывать отдельно?

3. У меня в настройках ЧПУ включено SeoPro. Где-то прочитал, что в robots.txt надо закрыть все пути, которые не имею ЧПУ, т.е. ссылки вида

САЙТ/index.php?route=information/information&information_id=3

Это действительно так? Почему?

4. Доступ к папкам. Вижу закрыли доступ к папкам.

Disallow: /admin

Disallow: /catalog

Disallow: /download

Disallow: /system

Я верно понимаю, что сюда не помешает добавить:

fastorder - у меня есть такая с быстрым заказом

image - вот тут у меня вопрос. Надо полностью ко всей папке закрывать доступ или только к image\cache?

vqmod

У меня еще от куда-то появилось две папки: .quarantine и .tmb. Не знаю от куда взяли, не знаете что это и надо ли их закрывать?

5. Я верно понимаю, что строка

/*route=account/

закрывает путь к http://САЙТ/index.php?route=account/ и всем дальнейшим ссылкам, идущими за account/, т.е.:

http://САЙТ/index.php?route=account/edit

http://САЙТ/test/index.php?route=account/address

http://САЙТ/test/index.php?route=account/wishlist

и т.д.?

6. Если у меня включено ЧПУ, то я могу так оставить или мне надо прописывать как-то так?:

/my-account/

Или, например, я хочу закрыть доступ к информации: Доставка, политика безопасности и т.д.

мне вместо

Disallow: /index.php?route=information/information&information_id=3

надо писать конкретно:

http://САЙТ/dostavka.html?

7. В одном из файлов robots.txt прописано вот так:

Disallow: /my-account

Disallow: /index.php?route=account

Disallow: /*route=account/

В чем разница? Разве это не одно и то же?

8. За что отвечают строки:

Disallow: /*?sort=

Disallow: /*&sort=

Disallow: /*?order=

Disallow: /*&order=

Disallow: /*?limit=

Disallow: /*&limit=

Disallow: /*?filter_name=

Disallow: /*&filter_name=

Disallow: /*?filter_sub_category=

Disallow: /*&filter_sub_category=

Disallow: /*?filter_description=

Disallow: /*&filter_description=

Disallow: /*?tracking=

Disallow: /*&tracking=

Сперва было подумал, что, например, Disallow: /*?sort= отключает индексирование при выборе сортировки товара в каталоге, но тогда не понятно как это работает для такой ссылки:

http://САЙТ/index.php?route=product/category&path=20&sort=p.price&order=ASC

или в случае ЧПУ:

http://САЙТ/spalnya/?sort=p.price&order=ASC

9. Чем вообще руководствоваться, закрывая страницы? Например, зачем мы закрываем акккаунт (личный кабинет) и все, что там находится. Многие закрывают страницы модуля информация, вижу, закрывают поиск по сайту и его результаты... - почему именно их?

Заранее спасибо! )

1nSane · 22 березня 2015

Может логичнее такую строку сделать: Disallow: /catalog/view/theme/*/template

Теперь у меня 4 строки

Disallow: /catalog/view/theme/default/template
Disallow: /catalog/model
Disallow: /catalog/language
Disallow: /catalog/controller

Pirate · 22 березня 2015

Скажите хотя бы есть ли разница между обычными ссылка и ЧПУ в роботе?

Ну вот, например, строка

Disallow: /index.php?route=account/

закрывает все ссылки, что идут за account/:

index.php?route=account/login
index.php?route=account/address
index.php?route=account/wishlist

и т.д.

В то время как при ЧПУ эти ссылки выглядят так:

my-account/

wishlist/

address-book/

и т.д.

В итоге как мне прописывать в роботе, чтобы закрыть все ссылки на аккаунт? Строка Disallow: /index.php?route=account/ уже не будет работать при ЧПУ? Это мне надо для каждой ссылки в отдельности теперь прописывать?

Disallow: /my-account/
Disallow: /wishlist/
Disallow: /address-book/

Otvet · 22 березня 2015

Да

Pirate · 22 березня 2015

Да

А можно пойти от обратного: закрыть все кроме:

-главная страница

- каталога товаров (категории и подкатегории)

- товары

- информация

Больше ведь ничего не надо? Или так не сделать, так как теперь каждая категория - это твое уникальное название?

И мне вот что еще интересно. Если ввести неправильный адрес, то он пишет, что такой страницы нет, но ведь роботом тоже это будет индексироваться! Как сделать, чтобы такого не было?

1nSane · 22 березня 2015

И мне вот что еще интересно. Если ввести неправильный адрес, то он пишет, что такой страницы нет, но ведь роботом тоже это будет индексироваться! Как сделать, чтобы такого не было?

ввести в адресную строку - ничего не будет, оставлять ссылки на левые страницы на форумах - будет, но просто сайт должен отдавать 404 страницу и все.

Я использую FilterProи собираюсь делать SEO-выдачу на фильтрованные результаты, так что предпочитаю закрыть лишнее, а не открывать сторого что-то

Pirate · 22 березня 2015

но просто сайт должен отдавать 404 страницу и все

Да, я прочитал, что поисковик получив эту ошибку не индексирует её, но как сделать эту самую ошибку? Если ввести не верный адрес, то выходит не ошибка, а сам сайт с информацией, что такой страницы нет - или это одно и тоже?

Pirate · 22 березня 2015

Специалисты и просто знающие люди, составил файл robots.txt, посмотрите, пожалуйста, может что-то добавить, что-то удалить? На сайте ЧПУ SeoPro, фильтров товаров нет, регистрации пользователей не предусматривается, версия 1.5.5.1.2.

В файле закомментировал некоторые непонятные мне вещи, посмотрите, может поправите меня.

User-agent: *
#Закрываем доступ к папкам
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /image
Disallow: /fastorder

#Закрываем доступ к аккаунту и регистрации
Disallow: /my-account
Disallow: /edit-account/
Disallow: /address-book/
Disallow: /order-history/
Disallow: /transactions/
Disallow: /change-password/
Disallow: /wishlist/
Disallow: /returns/
Disallow: /newsletter/
Disallow: /logout/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /create-account/
Disallow: /downloads/
Disallow: /vouchers/
# не понял как прописать reward.php и что за файл forgotten.php!

Disallow: /*route=account/

#Disallow: /*address-book/ Не понял что это
#Disallow: /*route=affiliate/ Не понял что это
#Disallow: /*route=checkout/ Не понял что это
#Disallow: /index.php?route=product/product*&manufacturer_id= Не понял что это

Disallow: /request-return/ #Возврат
#Disallow: /contact-us/ #Обратная связь

Disallow: /search/ #Поиск и все, что с ним связано

#Корзина и оформление заказа
Disallow: /cart/
Disallow: /checkout/
Disallow: /index.php?route=checkout/

#Не понял зачем столько записей - разве не достаточно было только /*?sort=?! Остальные же все идут за ней...
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

#Не настроены фильтры на сайте - видимо не надо?!
#Disallow: /*?filter_name=
#Disallow: /*&filter_name=
#Disallow: /*?filter_sub_category=
#Disallow: /*&filter_sub_category=
#Disallow: /*?filter_description=
#Disallow: /*&filter_description=

#Не понял что это
Disallow: /*?tracking=
Disallow: /*&tracking=

#Host: mebel-avilon.ru Не понял, прописывать надо с www, http: или без всего? 
Sitemap: http://mebel-avilon.ru/sitemap.xml

User-agent: Yandex

#Закрываем доступ к папкам
Disallow: /admin
Disallow: /cache
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /vqmod
Disallow: /image
Disallow: /fastorder

#Закрываем доступ к аккаунту и регистрации
Disallow: /my-account
Disallow: /edit-account/
Disallow: /address-book/
Disallow: /order-history/
Disallow: /transactions/
Disallow: /change-password/
Disallow: /wishlist/
Disallow: /returns/
Disallow: /newsletter/
Disallow: /logout/
Disallow: /login/
Disallow: /forgot-password/
Disallow: /create-account/
Disallow: /downloads/
Disallow: /vouchers/
# не понял как прописать reward.php и что за файл forgotten.php!

Disallow: /*route=account/

#Disallow: /*address-book/ Не понял что это
#Disallow: /*route=affiliate/ Не понял что это
#Disallow: /*route=checkout/ Не понял что это
#Disallow: /index.php?route=product/product*&manufacturer_id= Не понял что это

Disallow: /request-return/ #Возврат
#Disallow: /contact-us/ #Обратная связь

Disallow: /search/ #Поиск и все, что с ним связано

#Корзина и оформление заказа
Disallow: /cart/
Disallow: /checkout/
Disallow: /index.php?route=checkout/

#Не понял зачем столько записей - разве не достаточно было только /*?sort=?! Остальные же все идут за ней...
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=

#Не настроены фильтры на сайте - видимо не надо?!
#Disallow: /*?filter_name=
#Disallow: /*&filter_name=
#Disallow: /*?filter_sub_category=
#Disallow: /*&filter_sub_category=
#Disallow: /*?filter_description=
#Disallow: /*&filter_description=

Clean-param: tracking #Не значю что это

#Host: mebel-avilon.ru Не понял, прописывать надо с www, http: или без всего? 
Sitemap: http://mebel-avilon.ru/sitemap.xml

Многие что-то прописывают в файл .htaccess. Например:

# Необходимо для ЧПУ.
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^?]*) index.php?_route_= [L,QSA]

Не знаю что это и надо ли, у меня он такой:

# 1.To use URL Alias you need to be running apache with mod_rewrite enabled. 

# 2. In your opencart directory rename htaccess.txt to .htaccess.

# For any support issues please visit: http://www.opencart.com

Options +FollowSymlinks

# Prevent Directoy listing 
Options -Indexes

# Prevent Direct Access to files
<FilesMatch "\.(tpl|ini|log)">
 Order deny,allow
 Deny from all
</FilesMatch>

# SEO URL Settings
RewriteEngine On
# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/ 

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteRule ^download/(.*) /index.php?route=error/not_found [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_= [L,QSA]

### Additional Settings that may need to be enabled for some servers 
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.

# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off

# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off

# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M

# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M

# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200

# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200

# 7. disable open_basedir limitations
# php_admin_value open_basedir none

Заранее спасибо!

Вхід

robots.txt

Recommended Posts

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Створити обліковий запис

Вхід

Зараз на сторінці 0 користувачів

Покупцям

Розробникам

Корисна інформація

Останні розширення

Important Information