Убрать из индексации старые версии страниц

[EgoRIgor]

Здравствуйте, использую ocStore 2.1.0.2.1 . После заполнения магазина товарами, категориями и всем прочим заметил, что гугл содержит страницы со старым url и информацией на них, которой на данный момент давно нет. При переходе на них ошибка "Запрашиваемая страница не найдена" , пытаюсь исключить их из индексации путем добавления в robots.txt, но также нашел в интернете инфу, что гугл может игнорирвать инструкции в robots.txt. 
Подскажите,как убрать этот мусор с гугла и яндекса? Закрыть индексацию всего сайта на время? как? 
Извиняюсь , если есть похожие темы , но я ничего не нашел. В том числе и ответа 
(на скрине видно, о чем я) 

[chukcha]

Это достаточно долгий и нудный процесс.

 

1. Собрать  все в одном месте и проанализировать необходимость

2. Если Есть подобные страницы, аналоги - сделать редирект

3. Если это навсегда мертвые- не 404, а 410

4. Ни в коем случае не закрывать в robots, иначе робот просто перестанет их посещать, а в индексе они будут висеть

 

5. Восстановить (проанализировать необходимость)

 

 

[EgoRIgor]

1 час назад, chukcha сказал:

Это достаточно долгий и нудный процесс.

 

1. Собрать  все в одном месте и проанализировать необходимость

2. Если Есть подобные страницы, аналоги - сделать редирект

3. Если это навсегда мертвые- не 404, а 410

4. Ни в коем случае не закрывать в robots, иначе робот просто перестанет их посещать, а в индексе они будут висеть

 

5. Восстановить (проанализировать необходимость)

 

 

Хорошо, А можно подробнее немного 1 , 2 , 3 и 5 пункты c технической стороны . Буду очень благодарен

 

Edited November 8, 2017 by EgoRIgor

[chukcha]

Извините

1 - азы информатики в школе, училище, техникуме, институте

2 - почти азы веб строительства

3 - платно, аналогов решения не встречал

5 - и здесь нужно рассказывать?

[EgoRIgor]

Хотелось бы увидеть более подробный ответ. Тема остается открытой

 

[Gai]

6 часов назад, EgoRIgor сказал:

Хотелось бы увидеть более подробный ответ. Тема остается открытой

 

Если идёт отдача 404, то поисковики их сами выкинут из индекса.

[chukcha]

6 часов назад, Gai сказал:

Если идёт отдача 404, то поисковики их сами выкинут из индекса.

Только иногда этот процесс сильно затягивается (наблюдал от полугода, полка не отдал 410) Буквально после первого прихода краулера после работ и они пропали. не по одной, а сразу все.

 

[EgoRIgor]

5 часов назад, chukcha сказал:

Только иногда этот процесс сильно затягивается (наблюдал от полугода, полка не отдал 410) Буквально после первого прихода краулера после работ и они пропали. не по одной, а сразу все.

А можете указать источник с инструкцией или написать, как сделать, чтобы была ошибка #410 , на данный момент у меня выходит такое . Что-то в htaccess дописывать? помогите , пожалуйста 

Edited November 9, 2017 by EgoRIgor

[chukcha]

Увы, эта инструкция обойдется в стоимость модуля.

А писать инструкцию я не буду, а модуль я напишу. (тем более, что он практически уже есть)

[EgoRIgor]

2 часа назад, chukcha сказал:

Увы, эта инструкция обойдется в стоимость модуля.

А писать инструкцию я не буду, а модуль я напишу. (тем более, что он практически уже есть)

И сколько будет стоить такая радость ?