Con la scomparsa del ducato di Mantova nel 1708, l'ospedale subì un continuo degrado e sotto la dominazione austriaca, a fine del XVIII secolo, venne trasformato in casa di pena. Fu trasformato successivamente in caserma, subendo nel tempo notevoli modificazioni.