ジョン・カフ (第3代デザート伯爵)
と妻キャサリン（1799年ごろ – 1874年2月13日、モーリス・ニュージェント・オコンナーの娘）の息子として、1818年10月12日にキルケニー県デザート・ハウス（）で生まれた。1820年11月23日に父が死去すると、わずか2歳でデザート伯爵位を継承した。1830年ごろから1834年までイートン・カレッジで教育を受けた後、1836年10月20日にオックスフォード大学クライスト・チャーチに入学した。