Tuttavia solo nel 1565 per iniziativa del parroco Calegari prende vita il progetto per la realizzazione di un vero ospedale. Esso però verrà accantonato per moltissimi anni e solo nel 1803 a Lovere verrà aperta una struttura ospedaliera. Dopo soli pochi anni la confraternita che lo gestisce viene soppressa dagli invasori francesi e l’ospedale di conseguenza chiuso.