Fu un bambino solitario, figlio unico per nove anni, fino alla nascita della sorella Johanna Gertrud, detta "Trudi" (1884-1935). Il suo amico d'infanzia Albert Oeri (1875-1950) ricordò il primo incontro con Carl, quando entrambi erano molto piccoli: lo descrisse come "un mostro di asocialità", concentrato sui propri giochi, il contrario di quello che aveva conosciuto all'asilo, dove i bambini giocavano, si picchiavano e stavano sempre insieme. I due restarono amici per tutta la vita.