ヘンリー・ハーバート (第2代チャーベリーのハーバート男爵)
とアン・ラムゼイ（、1698年7月7日没）の息子として生まれた。1695年にウェストミンスター・スクールで教育を受け、1699年にはが家庭教師として指導した。青年期は運動好きであったが、ウェストミンスター・スクールの校長ウィリアム・クナイプ（）が「怠惰でいい加減」、ボイヤーが「進歩が遅く、本を避けがち」と散々な評価が下されたもの、父が勉強するようにいいつけたときはそれに従ったという。