ਫੇਲਿਪ II ਦੀ ਸਭ ਤੋਂ ਵੱਡੀ ਸਥਾਈ ਵਿਰਾਸਤ ਐਲ ਐਸਕੋਰਿਅਲ ਹੈ, ਜੋ ਮੈਡ੍ਰਿਡ ਦੇ ਉੱਤਰ-ਪੱਛਮ ਵਿੱਚ ਸੀਏਰਾ ਡੀ ਗੁਆਡਾਰਮਾ ਦੀ ਤਲਹਟੀ ਵਿੱਚ ਇੱਕ ਵਿਸ਼ਾਲ ਮਹਿਲ ਅਤੇ ਮੱਠ ਹੈ।
ਫੇਲਿਪ II ਨੇ ਮਹਿਲ ਅਤੇ ਮੱਠ ਦੀ ਬਹੁਤ ਘੱਟ ਪਰਵਾਹ ਕੀਤੀ, ਆਪਣਾ ਜ਼ਿਆਦਾਤਰ ਸਮਾਂ ਸ਼ਹਿਰ ਵਿੱਚ ਬਿਤਾਇਆ।