Το 1529 η εργασία ξεκίνησε σε πύργο και βασιλικά διαμερίσματα για τον James και τη σύζυγό του , Mary of πρόσχημα , που τώρα αποτελούν το δυτικό τμήμα και τον πύργο του τρέχοντος παλατιού .
Η δουλειά στα βασιλικά διαμερίσματα κράτησε πάνω από έναν αιώνα .