Victor sposò Anne Bishop McKusick nel 1949. Anne prestò servizio nel Johns Hopkins Hospital come professore associato di medicina presso il dipartimento di reumatologia. La coppia ebbe due figli maschi, Victor e Kenneth, e una figlia, Carol.