Im Jahr 1529 begannen die arbeiten an einem Turm und königlichen Wohnungen für James und seine Frau Maria von Guise , die heute den westlichen Abschnitt und den Turm des heutigen Palastes bilden .
Der westliche Teil und der Turm waren die Residenz von James und Mary .