Inizialmente fu costruita una grande torre a sud del vecchio palazzo episcopale e una nuova grande cappella pontificale su due livelli sovrapposti.
Successivamente verso nord vennero costruite le ali degli appartamenti privati e la torre dello Studio.
Contemporaneamente venivano progressivamente distrutte le altre ali del palazzo più antico, sostituite da nuovi corpi di fabbrica, articolati ciascuno intorno ad un cortile: ad est gli ambienti ufficiali della corte, a ovest gli alloggi dei familiari, a sud i vasti appartamenti per gli ospiti.
I lati sud e est furono fortificati da un possente bastione.