Venne edificato a partire dal 1450, forse su disegno dell'architetto fiorentino Luca Fancelli, per desiderio del marchese di Mantova di Ludovico III Gonzaga, che intese farsi garante dell'assistenza pubblica. Verso il 1472 l'edificio assunse la forma attuale, grazie ai fondi messi a disposizione dai Gonzaga stessi. 