Suo padre Johannes Kölliker era un banchiere di Zurigo, ma morì presto, cosicché la madre Anna Maria Katharina Füssli, donna colta e poliglotta (in casa si parlava solo francese), dovette prendere in mano le redini della famiglia educando i due figli Albert e Teodoro. 