Almeno dall'XI secolo al posto dell'attuale Rocca di Angera si trovava una struttura fortificata che poi divenne proprietà degli arcivescovi di Milano.
Nel Duecento la struttura passò in mano alla famiglia Visconti, che la trasformò in una maestosa fortezza, in posizione dominante su tutto il paese.
Nel 1449 fu acquistata dalla famiglia Borromeo, attuale proprietaria.
Angera assunse titolo di Città nel 1497, per nomina di Ludovico il Moro.