Im Jahr 1529 begannen die arbeiten an einem Turm und königlichen Wohnungen für James und seine Frau Maria von Guise , die heute den westlichen Abschnitt und den Turm des heutigen Palastes bilden .
Die Arbeit an den königlichen Wohnungen dauerte über ein Jahrhundert .