У 1625 році Феліпе IV наказав зруйнувати стіни міста і побудувати нове фортифікаційне коло, яке проіснувало аж до XIX століття. Уряд засідав у Королівському Алькасарі, Королівському Палаці і Східному Палаці (Plaza de Oriente). Одночасно будувався ще один палац на іншому боці міста. Він був оточений садами і отримав назву Палац «Буен Ретіро», де розташовувалася Тронна зала.