Il terreno sul quale venne costruito il nucleo originario della struttura apparteneva all'antica famiglia Orsi (membri illustri della quale furono il rosminiano don Pietro Orsi ed il senatore Paolo Orsi) e passò poi alla famiglia Rosmini Serbati. Su quest'area erano edificate alcune case ed un ricovero per anziani.