Dopo il liceo, Victor scelse di studiare alla Tufts University, dove frequentò le lezioni per sei semestri, dall'autunno del 1940 all'estate del 1942. Sebbene la Tufts University avesse una scuola di medicina associata, Victor era affascinato dall'Università Johns Hopkins e iniziò a frequentare questo ateneo.