Alfred era secondogenito di quattro fratelli e due sorelle; di rilievo solo la relazione con il fratello maggiore, Sigmund, caratterizzata da marcata competitività. Con il padre aveva un buon rapporto di confidenza e collaborazione; con la madre, contestata per la sua eccessiva tolleranza ed abnegazione nei confronti dei familiari, fu affettuoso e protettivo solo in età adulta. Con le donne fu sempre discreto e rispettoso. Nel 1897 conobbe e sposò Raissa Epstein, un'intellettuale russa, anch'essa di origine ebraica, giunta a Vienna per completare gli studi universitari, con la quale ebbe quattro figli due dei quali, Kurt e Alexandra, lo seguiranno nella professione.