Czerny nacque a Trutnov, Boemia, Impero austro-ungarico. Inizialmente studiò presso l'Università Karl-Ferdinand di Praga, successivamente si trasferì presso l'Università di Vienna, dove fu lo studente di Ernst Wilhelm von Brücke (1819-1892). Nel 1866 si laureò con la summa cum laude. Successivamente, rimase a Vienna come assistente di Johann Ritter von Oppolzer (1808-1871) e di Theodor Billroth (1829-1894). Nel 1871 divenne direttore clinico presso l'Università di Friburgo.