Nel 1592 Colle viene proclamata città e diventa sede di una nuova Diocesi; primo vescovo viene eletto Usimbardo Usimbardi. Quella degli Usimbardi era una famiglia molto influente e potente che aveva dato non solo un vescovo alla città, ma poteva vantare anche Pietro Usimbardi come vescovo di Arezzo e Lorenzo Usimbardi come segretario granducale. Sia Pietro sia Lorenzo erano fratelli di Usimbardo, figli di Francesco che aveva altri due figli, Claudio e Fulvio. Fu proprio la famiglia Usimbardi, originaria della frazione di Vico che decise di costruire un nuovo ospedale, più consono ad una città che si stava ingrandendo. Il nuovo ospedale fu ubicato di fronte alla Chiesa ed al monastero di San Pietro (la cui costruzione che venne affidata a Giorgio Vasari il giovane e fu terminata rispettivamente nel 1610 e nel 1606 si deve a Pietro e Usimbardo Usimbardi). Alla famiglia Usimbardi si devono anche la costruzione del palazzo vescovile, del seminario e della cattedrale di Colle Val d'Elsa.