Google , 404 и lastomod

[chukcha]

Для тех кто в курсе

https://www.seroundtable.com/google-lastmod-xml-sitemap-20579.html
Т.е. lastmod будем игнорить
@markimax Сам Мюлер сказал

Но есть беда, образовалось много 404 а Г, ну никак не удаляет
И тут у Мюлера есть ответ

https://www.seroundtable.com/404-sitemaps-google-removal-26926.html

 

Эй, Мюлер, так надо или не надо..
Делать особую карту 404-х.. А я могу :)

 

[chukcha]

Кстати, Если вдруг ві поймали вирус, но вас уже проиндексировали

собирайте эти страницы и в отдельную  карту, скармливаете ее гуглу - может поможет

 

[Otvet]

не надо путать "игнорируется" и "часто может игнорироваться, потому что у многих вебмастеров проблемы с учетом"

 

если отдается now() или 2012 год, хотя явно страница менялась, само собой будет игнор (хотя за первое по мне должны быть санкции)

при нормальном подходе всё работает, проверено

 

 

15 часов назад, chukcha сказал:

Делать особую карту 404-х.. А я могу 

собирать логи?

как определить что она не выпавшая давно?

[chukcha]

В Г вебмастер есть отчтет
модули собирающие статистику по 404 - мой уже умеет делать карту .
 

[Otvet]

20 минут назад, chukcha сказал:

В Г вебмастер есть отчтет

смысл в том чтоб гугл посетил страницу, удаленную, но не посещенную после этого 

а не в том чтоб собирать то, что гугл знает и убрал из выдачи

 

22 минуты назад, chukcha сказал:

модули собирающие статистику по 404 - мой уже умеет делать карту

вопрос с проверкой на наличие в выдаче остается

в противном случае, это просто будет запуск сканирования битых страниц, бессмысленный и беспощадный

[chukcha]

Какое сканирование?

серчконсоль дает отчет - есть 404 страницы, и как ни странно, держит их долго даже в индексе

Чтоб ускорить процесс - Мюллер предлагает отдельную карту для этих страниц

[Otvet]

15 минут назад, chukcha сказал:

серчконсоль дает отчет - есть 404 страницы, и как ни странно, держит их долго даже в индексе

в поиске их нет

 

15 минут назад, chukcha сказал:

Чтоб ускорить процесс - Мюллер предлагает отдельную карту для этих страниц

Цитата

One way to speed this up could be to submit a temporary sitemap file listing these URLs with the last modification date (eg, when you changed them to 404 or added a noindex), so that we know to recrawl & reprocess them. This is something you'd just want to do for a limited time (maybe a few months), and then remove, so that you don't end up in the long run with a sitemap file that's not needed by your site. 

Для того чтоб гугл посетил страницу после изменения

дабы обновить информацию о ней

 

а то что в консоли уже известно

или тут где то написано "гугл не понимает с первого раза что тут 404 и надо повторить в  сайтмапе" ?

 

[chukcha]

вы обратили внимание на lastmod

Т.е. не у читываем

А в карте сайта для 404  - пропишите

Даже если Г и понимает и отображает в консоли 404 страницы, то эти страницы он иногда очень долго не удаляет..
 

[Otvet]

что за сюр, кто то взломал и балуется?

 

36 минут назад, chukcha сказал:

Т.е. не у читываем

 

2 часа назад, Otvet сказал:

если отдается now() или 2012 год, хотя явно страница менялась, само собой будет игнор (хотя за первое по мне должны быть санкции)

при нормальном подходе всё работает, проверено

 

 most of the cases it's ignored != is not work

 

 

 

36 минут назад, chukcha сказал:

Даже если Г и понимает и отображает в консоли 404 страницы, то эти страницы он иногда очень долго не удаляет..

 

44 минуты назад, Otvet сказал:

в поиске их нет

любой может открыть, отсортировать по дате и посмотреть в выдачу

 

 

Цитата

This is somewhat natural -- when we recognize pages that we don't think are as critical to a site, we tend to crawl them less frequently, so it would be normal for them to take a bit longer to drop out of the search results as well. 

 

 

 

а так:

суем в метод deleteProduct или как он зовется в конец добавление url и текущей даты в таблицу deleted

в контроллере not_found отслеживаем user agent и если гугл то удаляем запись, ибо он пришел и 404 ему в рыло швырнули

тем самым будет актуальный список для формирования сайтмапа 404

[Otvet]

1. офтоп

2. спам

3. 80% написанного бред