ジョージ・ハーバート (第2代ポウィス伯爵)
と妻（旧姓ハーバート、1735年6月21日 – 1786年ごろ、エドワード・ハーバート卿の娘）の息子として、1755年7月7日にフィンチリーで生まれ、8日に同地で洗礼を受けた。1768年から1772年までイートン・カレッジで教育を受け、1772年9月10日に父が死去すると、ポウィス伯爵位を継承した。1773年2月18日にケンブリッジ大学セント・ジョンズ・カレッジに入学、1775年にM.A.の学位を修得した。