Nel 1865 conseguì il dottorato in medicina presso l'Università di Vienna e successivamente si formò sotto la guida di Johann von Dumreicher (1815-1880) all'ospedale chirurgico di Vienna. Dal 1867 al 1873 fu assistente di Alfred Hegar (1830-1914) a Friburgo e in seguito professore di ginecologia e ostetricia all'Università di Giessen. Nel 1887 divenne professore di ginecologia a Halle, dove succedette a Robert Michaelis von Olshausen (1835-1915). Kaltenbach prestò servizio militare durante le guerre austro-prussiane (sul lato austriaco) e franco-prussiane.