Το 1529 η εργασία ξεκίνησε σε πύργο και βασιλικά διαμερίσματα για τον James και τη σύζυγό του , Mary of πρόσχημα , που τώρα αποτελούν το δυτικό τμήμα και τον πύργο του τρέχοντος παλατιού .
Το δυτικό τμήμα και ο πύργος ήταν η κατοικία του James και της Mary .