ジェームズ・ステュアート＝ウォートリー (初代ウォーンクリフ男爵)
陸軍大佐（Col.James Stuart、第3代ビュート伯爵の息子）とマーガレット・カニンガム（Margaret Cunynghame、サー・デイビッド・カニンガムの娘）との長男として生まれた。父方の祖母にビュート伯爵夫人メアリー、曾祖母に著述家メアリー・モンタギューがいる。父ジェームズは母方のウォートリーを姓に加えたのち、さらにマッケンジー姓も付け加えている。