Trong 1529 công việc bắt đầu trên một tòa tháp và căn hộ hoàng gia cho James và vợ của anh ta , Mary của guise , mà bây giờ thành lập khu vực Phương Tây Và Tháp của cung điện hiện tại .
Những căn hộ cũ của hoàng gia đã bị phá hủy lâu rồi .