Ebbe un’infanzia particolarmente infelice a causa di suo padre, un uomo dal pessimo carattere, a cui piaceva avere il controllo su tutto. Durante le sue frequenti crisi di rabbia, era solito colpire il figlio con una cintura, a volte fino al punto di farlo sanguinare. Più tardi William Masters scoprì che il padre soffriva di meningioma, un tumore al cervello capace di generare mal di testa, cambi di personalità e crisi di rabbia, tuttavia fu sempre dubbioso riguardo al suo comportamento: non sapeva se effettivamente fosse conseguenza della malattia o dell'alcol, di cui spesso Francis Masters abusava. 