La carica di Capitano fu abolita nel 1326 quando cessarono definitivamente le libertà comunali e la città cadde sotto il dominio dei Gonzaga.
Nel palazzo per molto tempo ebbe sede il Massaro ducale e per pochi anni, nella prima metà del XVI secolo, la zecca locale.
Nel 1461, per ospitare degnamente la duchessa Bianca Maria Visconti, sposa di Francesco Sforza, il palazzo venne in parte restaurato.
Dal 1461 al 1473 vennero eseguiti altri lavori di ripristino, quando il palazzo divenne la residenza del marchese Sigismondo d'Este, luogotenente della città.