Удаление страниц из индекса через 404 ошибку

[PttRulez]

Здравствуйте. Пока я делал себе сайт, у меня проиндексировались адреса, которые в дальнейшем были переделаны в другие. Например сейчас у меня есть ряд таких урлов:

http://wildskin.ru/zhenskie-koshelki/62-k.html

http://wildskin.ru/zhenskie-koshelki/25-koshelek-iz-koji-pitona.html

и т.д.

Они сейчас все ведут на страницу  http://wildskin.ru/kozhanie-koshelki/zhenskie-koshelki/ без редиректа. Т.е. получаются дубли. Для того чтобы их удалить в http://webmaster.yandex.ru/delurl.xml, мне надо, чтобы они выдавали 404 ошибку. как это сделать?

[pyramida]

Насколько я знаю, для яндекса достаточно закрыть страницы в роботс, чтобы он выкинул из индекса. попробуйте.

[chukcha]

Ага, ага

И как узнает робот, что страница отдает 404 если она закрыта в роботс, т.е. будем считать, что это запрет на посещение?

 

Для таких страниц было бы хорошо отдавать не 404, а 301 редирект на новые, правильные

[pyramida]

Ага, ага

И как узнает робот, что страница отдает 404 если она закрыта в роботс, т.е. будем считать, что это запрет на посещение?

Логика правильная. Но так(закрыть в роботс) пишут те, кто с яндексом работает. Я с ним не работаю.

[chukcha]

 

Но так(закрыть в роботс) пишут те, кто с яндексом работает.

Так не пишите, если не знаете.

[snastik]

если правильно отдается 404 ошибка выкинет месяца за 3-4 так что не парьтесь и просто ждите на показатели сайта если там не 100 тысяч страниц это не влияет никак

[pyramida]

Так не пишите, если не знаете.

не указывайте, что мне делать, а что нет. Я, правил форума не нарушаю. Мы в одинаковых правах тут.

 

В хелпе четко написано

Чтобы прекратить индексирование раздела сайта, запретите его в файле robots.txt. Для этого укажите

User-agent: Yandex

Disallow: /раздел/

http://help.yandex.ru/webmaster/site-indexing/site-structure.xml

Для меня этого достаточно. Или сейчас скажете что это не правда?

[chukcha]

Оставайтесь в наивном неведении.

[pyramida]

Оставайтесь в наивном неведении.

Хелп яндекса врет? Нюню :) МОжет Вы знаете больше? Так расскажите мне школьнику, а?

[chukcha]

вы читать умеете?

 

 

Я не хочу, чтобы робот Яндекса посещал определённый раздел моего сайта. Что нужно для этого сделать?

Чтобы прекратить индексирование раздела сайта, запретите его в файле robots.txt. Для этого укажите

User-agent: YandexDisallow: /раздел/

При следующем обращении к сайту робот «прочитает» указание и вскоре удалит указанный раздел.

 

 

Так вот, я вас уверяю, что это следующее обращение можно очень долго ждать...

 

Да, и help яндекса это не руководство к действию самого яндекса.

[SPositive]

pyramida

На заборе тоже написано.. :wink:

[PttRulez]

Ребята не ссорьтесь. Чтобы удалить из индекса через сервис http://webmaster.yandex.ru/delurl.xml  надо либо 404 ошибку, либо в роботсе запрет поставить.

В роботсе так писать?

 

chukcha, я 301 редирект не могу сделать, т.к. хз что у меня был за кошелек 62-к и другие подобные ему урлы

Disallow http://wildskin.ru/z...helki/62-k.html

Если так, то просто в сервисе этом укажу страницу и не надо ждать 3- месяца

[PttRulez]

Попробовал прописать так в robots.txt:

Disallow: http://wwildskin.ru/zhenskie-koshelki/62-k.html

в разделе для Яндекса - не прокатило. Сервис не стал удалять ругается:

 

"Если страница сайта больше не существует или вы не хотите, чтобы она появлялась в результатах поиска, то вы можете ускорить процесс удаления этой страницы из базы Яндекса, указав ее URL в приведенной форме. Для удаления необходимо, чтобы при запросе указанного URL сервер возвращал код ошибки 404 или индексирование страницы было запрещено в файле robots.txt, либо метатегом noindex."

 

Видать неправильно я запретил его в роботсе ((

[pyramida]

PttRulez, попробуйте убрать ввв и имя домена из урла в роботс. В крайнем случае в инструментах яши, есть проверка роботс на запрет. Можно в ней поэкспериментировать.

[Alexa]

Присоседюсь к теме....

Подскажите, плз, как будет правильно сделать отдачу 404 ошибки? (И нужно ли вообще...)

Хотя бы запретить в роботс старые ссылки старого движка сайта, кот. все ведут на главную стр. сайта уже на оcstore?

 

Т.е. сейчас яндекс перенаправляет следующим образом:

Старая ссылка www.site.ru//index.php?productID=120 ведет на http://www.site.ru/?productID=12072 (по факту открывается Главная, только вот с этим урлом). Получается, что все старые ссылки теперь не отдают 404 ошибку, а отдают новые урлы, кот. нет на сайте по факту и ведущие на индекс. Это же не правильно....

 

Если в роботс указать так:

Disallow: /*?productID=

Подразумевая, что старые ссылки на товары имели вид: www.site.ru//index.php?productID=120

 

Всё это вместе взятое не будет конфликтовать? Корректно будет, не повылетает всё?

Спб!

 

Если честно то уже запуталась окончательно и с редиректами, и с префиксами и со всем остальным, после переезда на оcstore...Не хотелось бы чтобы всё выпало в осадок после манипуляций.. :)

[pyramida]

Alexa, настройте правильно 404 страницу. Зачем кидать пользователя куда попало? ПФ, про который так много пишут, определяется ПСами очень просто - по своей главной странице. Если пользователь снова вернулся в поиск, значит не получил то, что хотел. И страницу которая не была релевантна, просто удалят с первой в выдаче :)