ਸਪੇਨ ਪਹੁੰਚਣ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ, ਨੌਜਵਾਨ ਨੂੰ ਪਵਿੱਤਰ ਰੋਮਨ ਸਮਰਾਟ ਦਾ ਖਿਤਾਬ ਵਿਰਸੇ ਵਿੱਚ ਮਿਲਿਆ, ਜਿਵੇਂ ਕਿ ਚਾਰਲਸ ਵੀ. ਤਾਜ ਦੀਆਂ ਜ਼ਿੰਮੇਵਾਰੀਆਂ ਨੇ ਉਸਨੂੰ ਟੋਲੇਡੋ, ਸੇਗੋਵੀਆ, ਵੈਲਾਡੋਲਿਡ ਅਤੇ ਮੈਡ੍ਰਿਡ ਦੇ ਸ਼ਾਹੀ ਨਿਵਾਸਾਂ ਤੋਂ ਦੂਰ ਰੱਖਿਆ।
ਚਾਰਲਸ ਪੰਜਵਾਂ ਆਪਣੇ ਆਲੀਸ਼ਾਨ ਘਰਾਂ ਤੋਂ ਵੱਖ ਹੋਣ ਦਾ ਬਹੁਤ ਦੁਖੀ ਸੀ।