Foster ne réussit pas à tenter de retourner à la Chambre en 1890, mais est nommé par Benjamin Harrison un an plus tard pour devenir secrétaire du Trésor à la mort de William Windom.
En 1890, Foster tente de retourner à la Chambre, mais sans succès.