Après la mort de Lénine, le 21 janvier 1924, Rykov abandonna son poste de président du Conseil suprême de l'économie nationale de l'URSS et devint président du Conseil des commissaires du peuple de l'URSS et, simultanément, du Sovnarkom de la RSFSR, le 2 février 1924.
Après la mort de Lénine le 21 janvier 1924, Rykov devint chef du gouvernement de l'URSS et de la Russie.