1529 ਵਿੱਚ ਜੇਮਜ਼ ਅਤੇ ਉਸਦੀ ਪਤਨੀ ਮੈਰੀ ਆਫ਼ ਗੁਇਸ ਲਈ ਇੱਕ ਟਾਵਰ ਅਤੇ ਸ਼ਾਹੀ ਅਪਾਰਟਮੈਂਟਾਂ 'ਤੇ ਕੰਮ ਸ਼ੁਰੂ ਹੋਇਆ, ਜੋ ਹੁਣ ਮੌਜੂਦਾ ਮਹਿਲ ਦੇ ਪੱਛਮੀ ਭਾਗ ਅਤੇ ਟਾਵਰ ਦਾ ਗਠਨ ਕਰਦਾ ਹੈ।
ਪੱਛਮੀ ਭਾਗ ਅਤੇ ਟਾਵਰ ਜੇਮਜ਼ ਅਤੇ ਮੈਰੀ ਦੇ ਨਿਵਾਸ ਹੁੰਦੇ ਸਨ।