Забейте на попугаев, PageSpeed это грубый инструмент, который показывает лишь наличие шаблонов клиентской оптимизации. А Speed Index, на мой взгляд, это вообще лишнее. Он вводит клиентов в заблуждение, заставляя пускать деньги на ветер и порождает горе-оптимизаторов. Разделение на цветные зоны у него основано на общей статистике гугла по сайтам, при этом не учитывается специфика сайта, но учитывается общая реальная производительность клиентских устройств (забугром). Оптимизация это процесс, направленный на лучший из возможных результатов, а не погоня за попугаями.
Никогда не брался за frontend оптимизацию, со словами "доведу оценку до 100". Говорю, что сделаю, все что смогу, а остальное потребует больше времени. Часто упираюсь в нерентабельность модификаций, в изменения, которые потом породят проблемы или дополнительные работы при масштабировании приложения. Кроме того, PageSpeed не показывает и не учитывает визуальные оптимизации (перерасчеты размеров элементов -> перерисовки, подергивания) и инструментов для детектирования проблем с DOM деревом у него нет (вложенность, размер кода, кол-во дочерних элементов) (P.S. в блоге на форуме добавил скрипт).
Касательно изображений и фона - там есть краеугольный камень. Иногда лучше показать изображение, которое находится в зоне первичной видимости сразу, без lazyload, в ущерб оценке. Так визуально быстрее, и время до первого взаимодействия не сильно увеличивается, но это немного влияет на оценку. На месте виднее, зависит от характера страницы и наличия полезной визуальной (целевой) информации в зоне первичной видимости. А со скачущей оценкой - думаю, там проблема внутри, в среде виртуализации, либо что-то связанное с географией серверов, разбираться не стал. Рекомендую иногда использовать встроенный в браузер Lighthouse (при анализе вкладка должна быть активной и не забывайте про расширения блокирующие сторонние скрипты - uBlock/Ghostery).