Перейти до вмісту
Пошук в
  • Детальніше...
Шукати результати, які ...
Шукати результати в ...

корректно ли настроен робот.txt


Rumit1990

Recommended Posts

Хотел узнать что скажете о данный робота, настроил прогер думаю доверять или нет?

 

User-agent: *
Disallow: /adminer423.php
Disallow: /i.php
Disallow: /admin/
Disallow: /callme/
Disallow: /download/
Disallow: /FIREPHP/
Disallow: /override/
Disallow: /seo_pro_no_cache/
Disallow: /system/
Disallow: /vqmod/
Disallow: /vqmod1/
Disallow: /search/
Disallow: /simplecheckout/
Disallow: /login/
Disallow: /sitemap/
Disallow: /*mailto:*
Disallow: /*.pdf$
Disallow: /*.swf$
Disallow: /*.flv$
Disallow: /*.zip$
Disallow: /*.rar$

User-Agent: Wget
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: Teleport Pro
Disallow: /

User-Agent: WebSnake
Disallow: /

User-Agent: Offline Explorer
Disallow: /

User-Agent: Web-By-Mail
Disallow: /

User-agent: psbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: NetinfoBot
Disallow: /

Host: lenclimate.ru

Crawl-delay: 4

Sitemap: http://lenclimate.ru/index.php?route=feed/google_sitemap

Надіслати
Поділитися на інших сайтах


Створіть аккаунт або увійдіть для коментування

Ви повинні бути користувачем, щоб залишити коментар

Створити обліковий запис

Зареєструйтеся для отримання облікового запису. Це просто!

Зареєструвати аккаунт

Вхід

Уже зареєстровані? Увійдіть тут.

Вхід зараз
  • Зараз на сторінці   0 користувачів

    • Ні користувачів, які переглядиють цю сторінку

×
×
  • Створити...

Important Information

На нашому сайті використовуються файли cookie і відбувається обробка деяких персональних даних користувачів, щоб поліпшити користувальницький інтерфейс. Щоб дізнатися для чого і які персональні дані ми обробляємо перейдіть за посиланням . Якщо Ви натиснете «Я даю згоду», це означає, що Ви розумієте і приймаєте всі умови, зазначені в цьому Повідомленні про конфіденційність.