1529 ਵਿੱਚ ਜੇਮਜ਼ ਅਤੇ ਉਸਦੀ ਪਤਨੀ ਮੈਰੀ ਆਫ਼ ਗੁਇਸ ਲਈ ਇੱਕ ਟਾਵਰ ਅਤੇ ਸ਼ਾਹੀ ਅਪਾਰਟਮੈਂਟਾਂ 'ਤੇ ਕੰਮ ਸ਼ੁਰੂ ਹੋਇਆ, ਜੋ ਹੁਣ ਮੌਜੂਦਾ ਮਹਿਲ ਦੇ ਪੱਛਮੀ ਭਾਗ ਅਤੇ ਟਾਵਰ ਦਾ ਗਠਨ ਕਰਦਾ ਹੈ।
ਪੁਰਾਣੇ ਸ਼ਾਹੀ ਅਪਾਰਟਮੈਂਟ ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਤਬਾਹ ਹੋ ਚੁੱਕੇ ਹਨ।