В индекс Google зашло много страниц

[Flint2000]

Все привет. Сегодня зашел в Серчконсоль гугла и ужаснулся большому количеству новых страниц появившихся с начала сентября. До этого было все настроено и роботс и все ненужное закрыто. Карта сайта имеется. На сайте никакие действия не проводились, кроме добавления фида в Google Merchant. Возможны изменения алгоритмов Гугл? Нужен совет, за месяц зашло 15000 новых страниц

Прихований текст

 

[Seriusis]

страницы сортировок, лимитов, фильтров, поиска и тд нужно закрывать мета тегом

<meta name="robots" content="noindex, follow">

 

robots.txt не дает гарантий, что робот послушается

[Leingard]

Можете просто заблокировать все GET через */?* 

[optimlab]

@Flint2000 , не должно быть такого. Или вы роботс потеряли или был пустой некоторое время (при обновлении, заливки, перезаливки) или была ошибка 4хх или 5хх при обращении к нему при рабочем сайте.

 

Если вы полтора месяца за этим не следили, то зачем вам вообще о СЕО волноваться? )))

[Flint2000]

6 годин назад, optimlab сказав:

Если вы полтора месяца за этим не следили, то зачем вам вообще о СЕО волноваться? )))

Я об этом не волновался, т.к. настроено было полтора года назад и все было ок.

 

6 годин назад, optimlab сказав:

Или вы роботс потеряли или был пустой некоторое время

Нет, я смотрел бекапы там роботс тоже не пустой и с тем же содержимым

 

6 годин назад, optimlab сказав:

была ошибка 4хх или 5хх при обращении к нему при рабочем сайте.

Сервер с мониторингом, исключено, еслибі не был доступный хост, то я получал бы уведомления

[optimlab]

Пришлось зайти и увидеть, что директивы для Гуглбота очень скудные. Поэтому так и случилось у вас.

Если бот заходит, и есть для него директива, то он пользуется строго ей, остальные не учитываются!

 

Директивы написаны кошмарно! Множество директив можно было бы и в одну строку скомпоновать типа: Дизалоу: /*логин/ или про аффилят так же..

 

Для Гуглбота лучше просто звёздочку использовать чтоб не запутаться.. Всё равно у нас остальные ПС типа Яху не популярны.

 

49 минут назад, Flint2000 сказал:

настроено было полтора года назад и все было ок.

Мой дедуктивный метод говорит только один вариант: в начале сентября вы добавили доп. директивы для Гуглбота и он перестал слушать Звезду.
Только честно, я угадал?

[Flint2000]

34 хвилини назад, optimlab сказав:

Только честно, я угадал?

К сожалению не угадали. Ничего не трогал, кроме настройки фида google merchant, но по моему субъективному мнению это никаким образом не должно было сказаться на индексации сайта

[optimlab]

@Flint2000 , тогда смотрите дату изменения файла на сервере.

Так как директивы в самый низ добавлены. Подозреваю они были добавлены как раз самыми последними.

Если не вы, то кто-то за вас.