spanjokus

Там не генеренка, сервис по типу контура, много много инфы по ИП и компаниям на 10 языках)))

разные проекты, и про 8 лямов я заметил уже позже, когда начинал эту переписку. У меня на проекте свыше 360 мл страниц, т, что отсутствие 8 мл не особо замечается)))

типа такого)))

В итоге количество непроиндексируемых страниц начало уменьшаться

Wp-SuperCash, причем после перестройки кэша все нормально и заметил, что это происходит после оптимизации БД через другой плагин

В итоге как и предполагал у меня из-за ошибки кэширующего плагина сильно подросла нагрузка на сайт, в результате чего выросло время ответа с 250 до 600 и выше миллисекунд. Гугл не стал нагибать сайт запросами, а отложил их на время, так же из советов сделайте на неизменяемых страницах 304 ответ Last-Modife, вот что я проделывал, может кому-то это так же поможет. Еще кстати учтите, что страницы попадут в индекс не все сразу, по очереди, так как они в ней стоят у бота и неплохо еще повторно их раз в день отправлять ручками.

Да все зеленое, я заметил проблем с производительностью, сократил время ответа, жду переобхода

ищет, что блокировок нет, говорит, что обойдет и все такое, но кажется я нашел в чем причина, если в ней я отпишусь тут потом

Проверял, и там отправлял неоднократно просто не заходят и все в индекс, одна из последних, что я тут не приводил залетела спустя два дня. Какая-то вакханалия творится с гуглом, раньше минуты через 2 и была в индексе. Сейчас в Яндексе так, отправил на индексацию, и она уже практически сразу там

Так же обнаружил в отчете 8 страниц, очень странно. Сайт не загружен, ресурсов полно, но вот несколько примеров не лезут просто уже неделю даже при ручной отправке в консоли: http://pyatilistnik.org/dell-r740-server-testing/ http://pyatilistnik.org/how-to-turn-your-photos-into-a-beautiful-movie/ http://pyatilistnik.org/jcp024-lifecycle-controller-in-use/ http://pyatilistnik.org/how-to-install-the-operating-system-on-the-dell-r740/ http://pyatilistnik.org/error-rac0509-the-server-temporalily-unavailable/ Попробовал в компьюнити написать, толку ноль. Для теста отправил вопрос через форму отзыва в консоли посмотрим, может и ответят.

Да получилось так, что кто-то проставил на сайт ссылки с порно, да пофиг на них плохого не вижу, ссылки вели на несуществующие страницы, в итоге они попали в индекс, а так как они запрещены в роботс символ ?=, то выкинуть он их не может, как пишут на сейте комьюнити гугла. На самих 404 стоит noindex для роботов, и в роботс я решил протестировать для гугла убрать запрет на сканирование 404 страниц вида /?=чего-то там

Сегодня так же в отчете нашел 35 таких страниц с 404 кодом. Попробую по алгоритму 1. Noindex давно стоит на 404 2. Убрал чисто для гугл запрет на посещение таких страниц в robots Посмотрю, что будет