Доброго времени суток.
Друзья, решил занятся дублем контента у своего сайта, вычитал, что частично (или полностью) вопрос можно решить, прописав в robots.txt запрет к индесации некоторых разделов, в частности, содержание файла:
User-agent: *
Disallow: /admin/
Disallow: /catalog/
Disallow: /system/
Disallow: /install/
Disallow: /download/
так, как сайт был проиндексирован, решил удалить из поиска некоторые страницы (практически все, так как все страницы имеют вид:
http://generalclimate.org/index.php?route=information/information&information_id=5
а хотелось бы, чтобы строка выглядела вот так:
http://www.generalclimate.org/montaz-kondicionerov)
так вот, решил удалять страницы вручную через Яндекс.Вебмастер, но при попытке удалить урл, получил такой ответ:
Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex.
Подскажите пожалуйста, что необходимо дописать в robots.txt, для того чтобы запретить все левые урл кроме чпу
P.S. Простите если напутал в определениях, но смысл я думаю понятен.