Rathbone, Amerikalı çift Randee Lynn (kızlık soyadı Brauner) ve IV. Monroe Jackson Rathbone'un oğlu olarak Singapur'da doğdu. Büyük Büyükbabası II. Monroe Jackson Rathbone daha sonradan Exxon olacak olan Standard Oil of New Jersey 'nin başkanıydı.Babasının Mobil Oil'deki işinden dolayı, Endonezya'dan Midland, Texas'a kadar birçok yerde yaşadı.Yerel sanat yaşamı, ilk olarak müzikal tiyatro yapmakta olan "The Pickwick Players" genç oyuncular programıyla Midland'da başlamıştır. Lisedeki ilk ve son senesinde, Rathbone sanat için özel bir okul olan ve rol yapma konusunda uzmanlaştığı Michigan'daki Interlochen Sanat Akademisi'ne katılmıştır. Mezuniyetten sonra Royal Scottish Academy of Music and Drama okuluna gitmeyi planlamıştı ama büyük ekranı denemek için Los Angeles'a gitti.