Le pauvre ouvrier, tout confus, rejoint ses compagnons, qui ne lui ménagent point les plaisanteries. Le diocèse conserve le souvenir de traits touchants qu’on raconte encore dans les veillées, en bénissant la mémoire du bon archevêque. Dans les villages, il ne dédaignait pas de visiter une étable et de donner son avis sur la valeur d’un cheval. Le long des routes, il lui arriva plusieurs fois de descendre de voiture et de tracer un sillon, non sans laisser, en se retirant, un témoignage de sa générosité au garçon de charrue ému jusqu'aux larmes. On comprend que toujours sa visite était saluée comme celle d’un ami, d’un père. Simple et digne tout à la fois, il inspirait le respect et la vénération, mais en même temps la confiance qui ouvre les cœurs et les dispose en faveur d’une religion qui donne de si aimables vertus. C’est ce que exprimait l’ambassadeur de Perse, Féroukh Khan, après une visite qu’il avait faite à Reims en 1858. Il écrivait à Mgr Gousset qu’il traitait d’ami : « Je me appelle au souvenir de Votre Excellence ! Je ne veux vous dire que ceci : Si les ministres de toutes les religions imitaient Votre Eminence, la différence de ces religions serait bientôt changée en une union parfaite, et tous les peuples auraient les mêmes croyances. Comme le souvenir de Votre Excellence ne sera jamais effacé de mon cœur, j’espère qu’une place me sera réservée dans l’amitié de Votre Eminence. » En faisant la part des idées et du style oriental, on saisit facilement la pensée de Féroukh-Khan rentré dans sa patrie musulmane. Les condamnés à mort inspiraient à Mgr Gousset une pitié toute particulière. A Périgueux, il avait eu la consolation de préparer, pour l’expiation suprême, un malheureux qui avait résisté à toutes les exhortations des aumôniers et qui cherchait finir ses jours par le suicide. La mémoire de ce qu’il avait vu et entendu restait profondément gravée dans son esprit; et, dès ce jour, il avait pris la résolution de faire quelque chose pour les victimes de la justice humaine. Rompant alors le silence qu’il gardait depuis six ans, il publia un opuscule avec ce titre : Lettre à M. l’abbé Blanc sur la communion des condamnés à mort. 