На 50 к товаров ответ сервера 300-1000, без каких-то углубленных раскопок - это норм.
Оценка гугла не связана практически с настройками сервера в вашем конкретно случае (при условии что у вас настроено сжатие кеширование статики, есть webp и для webp отдаются правильные заголовки кеширования).
Ведь логично, если вы включаете меню - у вас появляются лишние элементы на странице и гугл плохо на это реагирует, потому что им хочется не боллее 1500 элементов на страницу.
А если у вас метрики, фейсбуки, аналитиксы и компания, которые развешивают свои события на все элементы DOM, на это все тратиться время, соответственно увеличивается время рендеринга и отображения первого экрана страницы. И соответственно вы получаете меньше баллов.
Местные гениальные гении, с пеной у рта продвигают решение, при котором аналитикс и метрика откладываются к загрузке, либо загружаются после пользовательского события тем самым убивая все поведенческие показатели и круша статистику посещений. Так делать не стоит - если не хотите просесть в выдаче.
Займитесь объединением стилей-скриптов. Сделайте прелоад необходимого внешнего и локального контента, отложите загрузку некритичных ресурсов, типа jivochatов и иных сторонних приблуд, которые могут быть у вас на сайте.