Maggiore di tre fratelli (seguono Erna nel 1885 ed Enno nel 1889), mostrò un precoce interesse per la filosofia. L'attività del padre, Karl Wilhelm (1850-1940), che era un giurista e direttore di banca, influenzò la scelta universitaria di Jaspers che si iscrisse al corso di laurea in legge. Fu subito chiaro però che la scelta non era congeniale alle inclinazioni del giovane Karl che nel 1902 passò alla facoltà di medicina. Studiò a Heidelberg, Monaco di Baviera, Berlino e Gottinga. Dopo avere conseguito nel 1908 la laurea in Medicina con la dissertazione "Heimweh und Verbrechen" ("Nostalgia e crimine") Jaspers cominciò a lavorare a titolo gratuito, come ricercatore volontario, presso l'ospedale psichiatrico di Heidelberg, dove Emil Kraepelin aveva esercitato la professione qualche anno prima. Jaspers si mostrò subito critico nei confronti dell'approccio della comunità medica al problema della malattia mentale e si propose di migliorare la pratica psichiatrica.