C'est surtout sur l'époque de la Restauration que le jeune châtelain de Sassy portait de préférence ses investigations. Il avait alors essayé de ressusciter les grandes figures de Martignac, du duc de Richelieu, des ministres de ce temps, qui attendent encore leur historien. Parfois, il s'arrachait à ses travaux pour affronter les luttes électorales avec la volonté d'un homme qui se sent le tempérament d'un orateur, et qui veut servir son pays sur le théâtre le plus vaste. C'est ainsi qu'en 1858, il se présentait aux élections du conseil général ; en 1866 et en 1869 à celles du Corps législatif.

En ces trois circonstances, la bataille fut acharnée. Vainqueur la première fois, le candidat fut vaincu les deux autres, par l'effort d'une pression administrative qui ne déployait pas toujours une perspicacité égale à son énergie. Une revanche lui était due, et au mois de février 1871, le duc d'Audiffret-Pasquier, porté sur la liste conservatrice du département de l'Orne, fut élu député par 64,000 voix, c'est-à-dire dix mille voix de plus que le plus favorisé de ses collègues.
Tel avait été le passé de l'honorable représentant. Il entrait dans la vie publique à l'âge où d'autres ont déjà pu s'y faire un nom illustre. Mais, si la pratique des affaires lui manquait, il avait acquis dans la solitude et le travail, des qualités qui devaient l'aider à conquérir rapidement la notoriété. Ayant mesuré l'étendue des périls qui menaçaient le pays, il arrivait dans l'Assemblée, pénétré de la nécessité de créer en France des mœurs politiques et de remettre en vigueur les grands principes oubliés.
En face de la démagogie audacieuse, il songeait à former, non pas une église monarchique. 