Le couple demeura à l'Hermitage et gérait la plantation jusqu'à ce qu'un incendie détruise une grande partie de la maison principale en 1834.
En 1834, un incendie détruit la maison principale et le couple vit dans la ferme de plantation familiale du Tennessee.