Wilder vive fino all'età di 8 anni a Spokane, Washington, quando poi i genitori sono costretti a separarsi (per motivi finanziari legati alla pratica medica del padre) lui, la madre, il fratello e la sorella si trasferiscono a Hudson a casa dei nonni materni, Amos ed Elizabeth Jefferson, dove trascorrono i seguenti 6 anni. Proprio in questi anni la madre viene a conoscenza della "Rhodes Scholarship" dell'Università di Oxford, una borsa di studio che garantiva la possibilità di studiare per tre anni a titolo completamente gratuito presso la prestigiosa università inglese, istituita pochi anni prima da un omonimo gentiluomo, che richiedeva una preparazione da “all around man” (termine inglese che sta ad indicare una persona che eccelle in diversi campi oltre lo studio) per essere ammessi, e convince il figlio ad impegnarsi per raggiungere questo obiettivo.