ウィリアム・バゴット (初代バゴット男爵)
と妻バーバラ（、旧姓レッグ（）、1765年10月29日没、初代ダートマス伯爵ウィリアム・レッグの娘）の息子として、1728年2月28日に生まれた。1739年から1746年までウェストミンスター・スクールに通った後、1747年2月28日にオックスフォード大学モードリン・カレッジに入学、1749年4月12日にM.A.の学位を修得した。1749年から1752年までグランドツアーに出た後、1754年7月2日にの学位を授与された。