Ну, вы и спорите )
Поисковая выдача строится на множестве факторов, и основной из них - поведенческий фактор - сколько времени люди проводят на вашем сайте, прежде чем вернуться к окну поиска кликать по другим результатам. Особенно круто, если после открытия вашего сайта они уже не смотрят другие результаты.
Конечно, это поведение людей опосредовано зависит от скорости/удобства вашего сайта, но не очень сильно, разве что в случаях когда человек не дождался открытия страницы или его так завалило баннерами, что он закрыл от греха подальше.
По факту, выдача строится на том, насколько ваш контент удовлетворяет конкретный поисковый запрос пользователя. Но дополнительным фактором ранжирования при поиске с мобильного выступают Core Web Vitals (вот прямо циферки), и гугл дает небольшой бонус в позициях сайтам, у которых с этими показателями все хорошо.