La famiglia di Giovanni Battista Invernizzi (1805-1857), padre di Ernesto, possedeva una filanda a Caslino d'Erba, in provincia di Como. Morta la moglie, Giovanni Battista si risposò, a gennaio 1851, a Caslino d'Erba, con Margherita Tavecchio, una ragazza molto più giovane di lui, da cui ebbe due figli: Enrico e Ernesto. Diventata vedova, Margherita contrasse matrimonio con il capitano garibaldino Angelo Rossy che combatté nel 1860 a Milazzo. Anche due fratellastri di Ernesto, volontari garibaldini, parteciparono alla battaglia di Milazzo: Ignazio (1834-1898), che poi entrò in magistratura e Vincenzo (1844- ).