Про обнуление корзины писал чуть выше, так как пользователь уходит на сервер оплаты, то не факт, что он вернется на checkout/success
Либо в настройках платежного сервера или самого модуля не настроен редирект после оплаты на определенную страницу, обычно он настроен на урл платежного модуля, который сам после этого должен сделать редирект на checkout/success.
А заказ не появляется в админке потому, что в таких модулях оплаты статусы обычно меняются по колбэку (вызову определенного урл платежного модуля) с платежного сервера. То есть либо этот колбэк не проходит, либо неверно настроен.
Таким образом все это полностью зависит от настроек и работы самого платежного модуля (и/или платежного сервера), надо разбираться в нем.