Rentré au pouvoir le 10 avril 1851, il s'en retirait de nouveau le 14 octobre, parce que le président s'était prononcé pour le retrait de la loi du 31 mai, en d'autres termes, émis favorable au suffrage universel. C'est donc par les voix les plus démocratiques de son esprit que le prince-président ne pouvait s'accorder avec son jeune ministre. Celui-ci reçut la croix de la Légion d'honneur quelques jours après son éloignement des affaires. A partir du coup d'État, M. Buffet demeura étranger aux affaires du pays, se bornant à représenter son canton au Conseil général des Vosges. Il posa toutefois sa candidature au Corps législatif dans la première circonscription de ce département, aux élections générales de 1863, et fut élu au scrutin du 17 janvier 1864 contre le candidat officiel. Il prit place au Corps législatif dans les rangs de l'opposition dynastique et devint promptement l'un des chefs du tiers parti. Réélu en 1869, il fut l'un des agents les plus actifs de l'interpellation de 116, laquelle amena de la part de l'empire une promesse de retour sincère au régime parlementaire. A l'avènement du cabinet Ollivier (2 janvier 1870), M. Buffet accepta le portefeuille des finances. Il marqua son passage aux affaires par l'abrogation des décrets relatifs aux admissions temporaires (9 janvier), mesure qui bouleversa d'un coup tout une industrie et qui est l'œuvre, ce qui est à remarquer, de ceux qui précisément reprochaient la même faute, la même injustice, aux traités de commerce de 1860.
Ce sans gêne dans les représailles fit beaucoup de bruit à la chambre et dans le pays, et menaçait dès le début l'existence du gouvernement parlementaire, dont on attendait beaucoup. Ce danger fut conjuré par un vote favorable au ministre qui en avait pris la responsabilité. 