Il devient premier ministre en juin 1885 lorsque le chef libéral William Ewart Gladstone démissionne et il occupe ce poste jusqu'en janvier 1886.
Il restera en fonction jusqu'au 11 août 1892 et une troisième fois à partir du 25 juin 1895 jusqu'au 11 juillet 1902.