полный провал в индексации гугла

[Rumit1990]

Добрый день знатокам

Итак возник вопрос а точнее крупная проблема за один раз провал в индексе у гугла вылетело 29 000 страниц. 

Сайт lensan.ru

кто может подсказать, что такого произошло что ушел в тотальный минус?

 

[uk003]

А Вы у гугла спросите!

[Gann]

Только что, Rumit1990 сказал:

Добрый день знатокам

Итак возник вопрос а точнее крупная проблема за один раз провал в индексе у гугла вылетело 29 000 страниц. 

Сайт lensan.ru

кто может подсказать, что такого произошло что ушел в тотальный минус?

 

Добрый вечер.

 

Просто интересно. Что показывается в Google Webmasters Tool?

Сервисы могут показывать предыдущую картину.

[markimax]

С robots.txt в последнее время манипуляции проводили ?
Обновляли MFP ?
 

[chukcha]

Что не так?

[Rumit1990]

14 минут назад, markimax сказал:

С robots.txt в последнее время манипуляции проводили ?
Обновляли MFP ?
 

три недели назад ввел 

Disallow: /*mfp

сейчас ввел строку 

Disallow: /mega_filter/

8 минут назад, chukcha сказал:

Что не так?

в поиске триста ссылок

 

[chukcha]

У нас разный гугл

[Rumit1990]

3 минуты назад, chukcha сказал:

У нас разный гугл

на последнюю страницу перейдите, будет всего 22 страницы в поиске и как раз сверху результат

[Gann]

понятно

 

https://lensan.ru/promyshlennye-konditsionery/fankojly/napolno-potolochnye-fankojly/napolno-potolochnyj-fankojl-lessar-lsf-150am22.html

 

 

Страницы нет в поиске

 

<title>Купить Напольно-потолочный фанкойл Lessar LSF-150AM22 за 12 780 р. р. в магазине Lensan.ru.</title>

 

Жуть.

[markimax]

А где canonical вообще делся ?

[florapraktik]

чёта он не открывается...

это мы заддосили?

 

о! теперь открывается...

Змінено 9 грудня 2017 користувачем florapraktik

[snastik]

1 час назад, chukcha сказал:

Что не так?

 

Да там действительно все вывалилось.

Это закешированные результат выдачи.

 

Вывалиться таким образом оно могло в нескольких случаях:

1. Фильтр от гугла за плохой контент или переспам

2. Смена зеркала

3. Проблемы с доступностью магазина

4. Смена урлов и структуры без редиректов.

 

Однозначно совета что делать дать невозможно - необходио добавить принудительно в индекс пару десятков страниц товаров и посмотреть, что будет в итоге, если они окажутся в индекс - будет все ок.

 

[Rumit1990]

47 минут назад, markimax сказал:

А где canonical вообще делся ?

Стоит модуль от Ответа SEO FULL index там вроде как прописываются все эти canonical, блин я не силен в этом, уповал и надеялся на модуль что поможет мне с этими canonical

29 минут назад, snastik сказал:

 

Да там действительно все вывалилось.

Это закешированные результат выдачи.

 

Вывалиться таким образом оно могло в нескольких случаях:

1. Фильтр от гугла за плохой контент или переспам

2. Смена зеркала

3. Проблемы с доступностью магазина

4. Смена урлов и структуры без редиректов.

 

Однозначно совета что делать дать невозможно - необходио добавить принудительно в индекс пару десятков страниц товаров и посмотреть, что будет в итоге, если они окажутся в индекс - будет все ок.

 

Может быть причина в том, что у меня закончился SSL сертификат, и вместо Let's Encrypt поставил платный COMODO?

[Rumit1990]

1 час назад, Gann сказал:

понятно

 

https://lensan.ru/promyshlennye-konditsionery/fankojly/napolno-potolochnye-fankojly/napolno-potolochnyj-fankojl-lessar-lsf-150am22.html

 

 

Страницы нет в поиске

 

<title>Купить Напольно-потолочный фанкойл Lessar LSF-150AM22 за 12 780 р. р. в магазине Lensan.ru.</title>

 

Жуть.

да реально косяк, плохо сгенерил, не заметил, спасибо!

[snastik]

14 минут назад, Rumit1990 сказал:

Стоит модуль от Ответа SEO FULL index там вроде как прописываются все эти canonical, блин я не силен в этом, уповал и надеялся на модуль что поможет мне с этими canonical

Может быть причина в том, что у меня закончился SSL сертификат, и вместо Let's Encrypt поставил платный COMODO?

 

Как долго у вас не было сертификата ?

[Rumit1990]

часов 6, ночью истек, утром как проснулся это обнаружил

[snastik]

Только что, Rumit1990 сказал:

часов 6, ночью истек, утром как проснулся это обнаружил

 

Ждите - думаю в течении пару дней будет все ок.
Просто гугл вас заблочил целиком, так как была просрочка серта.

[Rumit1990]

11 минут назад, snastik сказал:

 

Как долго у вас не было сертификата ?

часов 6, ночью истек, утром как проснулся это обнаружил

[Rumit1990]

Только что, snastik сказал:

 

Ждите - думаю в течении пару дней будет все ок.
Просто гугл вас заблочил целиком, так как была просрочка серта.

понял я уж думал это по причине которую мы с вами обсуждали долгого ответа сервера, но чтоб прям 30 тысяч неожидал

 

спасибо

[snastik]

Только что, Rumit1990 сказал:

понял я уж думал это по причине которую мы с вами обсуждали долгого ответа сервера, но чтоб прям 30 тысяч неожидал

 

спасибо

 

Из-за долгого ответа, обычно не выкидывает а уменьшает количество сканируемых страниц в день.

 

[Rumit1990]

2 часа назад, markimax сказал:

А где canonical вообще делся ?

Марк а можно посказку где каноникал должен быть? или может есть информация куда и как его ставить?

[kabantejay]

привет, по опыту скажу, при такой просрочке сертификата 99.99% что не будет такой выброс урлов, т.к. за 6 часов гугл просто физически не просканирует такое количество страниц и тем более не выбросит их из индекса... у меня есть сайт который я продвигаю по шинам, на нем из-за хитрой генерации сотни тисяч страниц, сайд древний, трафик большой, входит в десятку крупнейших по шинам в украине, НО, все равно максимальное количество страниц обхода за сутки не более 7-8 тысяч..

 

дальше, на каноникал вообще не сильно уповайте, опять же по опыту, он в некоторых случаях гуглом используется в качестве "совета" а не руководства, тобишь, не всегда он на каноникал даже внимание может обратить, не то чтоб 30к страниц выбросить...

 

роботс - тоже самое, в худшем случае у вас осталась бы страница в индексе но в сниппете появилась бы строка что "Инфа не может быть получена изза запрета в роботс.тхт" - вообще давайте я вам расскажу нормально как роботс работает, это запрет поисковику на ДОСТУП в документ, а не индексирование его... то есть если в инете где-либо кто-то оставит ссылку на страницу на вашем сайте, которая запрещена в роботсе, то с вероятностью в тех же 99% она появится в индексе и ее можно будет найти по прямому запросу типа site:URL_страницы но с надписью что доступ к ней заблокирован.

Поэтому, если кто-то хочет полностью выкинуть страницу из индекса  и это не какая-то секретная страница типа админки и т.п. на которую боту реально не стоит заходить, а типа обычной страницы сайта - то часто более полезным вариантом будет размещение на странице метатега robots с noindex, nofollow (или просто noindex если это страницы какой-то пагинации или фильтров и с них робот может перейти на норм страницы), НО в таком случае в роботсе их нужно открыть, иначе бот просо не сможет перейти на страницу и просканировать этот метатег чтобы выбросить ее из индекса, и она так и может висеть долго, но это нифига не критично, можно принебречь

чаще всего так быстро выпадают изза проблем с dns или всяких серверных ошибок типа 503, 502... 404 (страница не найдена) - кстати как ни странно но наоборот может провисеть достаточно долго..

есть еще вариант что кто-то мог пожаловаться на вас изза размещения какого-то непотребного контента или ворованного или еще какого-то, тоже проходил такое, не факт конечно что прям так на 30к но если наложены подобные ручные санкции по жалобе то страницы выпадают моментально.

 

еще вариант (очень редкий но меткий) - это случайный косяк гугла, да такое тоже бывает там тоже люди работают... и возможно при заливе какого-то обновления случился такой косяк.

-----------

чтобы быстро загнать страницы в гугл - зайдите в гугл вебмастер тулс, там есть раздел "Просмотреть как гугл бот" - там просто просканируйте главную страницу (тупо ничего не заполняйте и нажмите кнопку ПРосканировать) - появится статус этой страницы и кнопка серая Запросить индексацию - жмите на нее и там будет 2 радио кнопки, вам нужно выбрать - Сканировать этот урл и прямые ссылки.

и гугль запулит в индекс очень бысро главную и все прямые ссылки (обычно это категории), ну это поможет если много страниц категорий выпало, с них уже проще будет товары проиндексировать и хотя бы в поиске больше страниц будет... если по хитрому то можно сделать отдельную html страницу со ссылками тупо на все товары и запулить ее, но скорость все равно будет ограничена краулинговым бюджетом бота, но лишним не будет)

---------------

UPDATE:

я из украины, киев, заметил что у меня вообще не заходит на сайт, хром выдает свой серый экран и "Не удается получить доступ к сайту", ошибка типа "ERR_CONNECTION_TIMED_OUT"

 

что у вас за хостинг? или сервак какой-то может? ошибка явно в нем... 

проверьте доступность сайта из разных стран вот сервисы: http://ping-admin.ru/free_test/

https://www.uptrends.com/tools/uptime

айпишник сервака 185.209.22.15 - тоже не пингует

 

короче вам просто норм хостинг нужен, перенести сайт и побыстряку загнать страницы в индекс. если все сделать гуд то вполне возможно через неделю все вернутся

[markimax]

4 часа назад, kabantejay сказал:

 

См. ниже
 

[markimax]

11 часов назад, Rumit1990 сказал:

вместо Let's Encrypt поставил платный COMODO?

Кажется я понял в чем причина
У вас был не доступен DNS
Вижу только в этом причину массового выпадения страниц из индекса

По опыту переводов знаю что многие хостеры при впаривании COMODO впаривают еще и выделенный IP
А пока не обновится кеш на маршрутизаторах ваш DNS не доступен довольно таки долгое время (поэтому у кого то пингуется сервер а у кого то нет)
Меняли сервер на выделенный IP ?

[Rumit1990]

16 минут назад, markimax сказал:

Кажется я понял в чем причина
У вас был не доступен DNS
Вижу только в этом причину массового выпадения страниц из индекса

По опыту переводов знаю что многие хостеры при впаривании COMODO впаривают еще и выделенный IP
А пока не обновится кеш на маршрутизаторах ваш DNS не доступен довольно таки долгое время (поэтому у кого то пингуется сервер а у кого то нет)
Меняли сервер на выделенный IP ?

нет не менял

zomro хостинг у меня