Роден е на 6 юли 1781 година на кораба „Ан“ край брега на Порт Морант, Ямайка. Негови родители са капитан Бенджамин Рафълс и Ан Рафълс (по баща Лид). Капитан Рафълс е от Йоркшър и семейството му е богато, но по време на Американската революция то изпада в дългове. Малкото пари, които семейството има, се дават за образованието на Томас, който посещава училище-интернат.