Les personnages célèbres qui sont venus vivre dans le château étaient Lady Jane Grey, qui était une pupille de Seymour, ainsi que l'adolescente Lady Elizabeth Tudor, fille d'Henry VIII et deuxième épouse, Anne Boleyn.
Une autre figure célèbre qui est venue vivre dans le château de Lady Jane Grey, qui était une pupille de Seymour, ainsi que la jeune Elizabeth I d'Angleterre.