En 1963, Hilary découvre l'amour des Amis avec la romancière Elizabeth Jane Howard.
Les Amis sont mariés, la première fois en 1948 à Hilary Bardwell, puis à la romancière Elizabeth Jane Howard en 1965.