Karl Koller nacque il 3 dicembre 1857 a Sušice ("Schüttenhofen") in Boemia, l'attuale Repubblica Ceca. Egli incominciò la sua carriera medica come chirurgo nell'ospedale di Vienna in cui fu collega di Sigmund Freud, per poi continuare la sua carriera come oculista.