Убрать из индексации сайт

[maiki]

Добрый день!

Подскажите как закрыть Все страницы кроме главной от индексации ?

[SiteMix]

2 часа назад, maiki сказал:

как закрыть Все страницы кроме главной от индексации ?

 

Попробуйте так:

User-agent: *
Disallow: /
Allow: /$

 

[maiki]

4 часа назад, SiteMix сказал:

 

Попробуйте так:

User-agent: *
Disallow: /
Allow: /$

Спасибо попробую

 

[maiki]

4 часа назад, SiteMix сказал:

 

Попробуйте так:

User-agent: *
Disallow: /
Allow: /$

 

А если я закрыл сайт ще так - Когда заходят в категорию или товар их перекидывает на Страницу Залогинится ил Регистрации. 

Так вроде писали поисковики зайти не смогут на страницы 

 

Это все надо для оптового сайта закрыть все кроме главной

[SiteMix]

Насчёт этого не скажу.

 

При указанном коде поисковики должны сканировать главную и не должны остальные страницы.

Но иногда гуглобот игнорирует запреты и всё равно сканирует. В этом случае в Search console будут записи:
"Проиндексировано, несмотря на блокировку в файле robots.txt"

 

Кстати, наверное, надо ещё sitemap в поисковиках удалить, если он там есть.

[maiki]

2 часа назад, SiteMix сказал:

Насчёт этого не скажу.

 

При указанном коде поисковики должны сканировать главную и не должны остальные страницы.

Но иногда гуглобот игнорирует запреты и всё равно сканирует. В этом случае в Search console будут записи:
"Проиндексировано, несмотря на блокировку в файле robots.txt"

 

Кстати, наверное, надо ещё sitemap в поисковиках удалить, если он там есть.

А в сайт мап нужны правки ?

[SiteMix]

А зачем, если к нему доступ закрыт и из консолей поисковиков он удалён?