È stato il quinto foglio e ha vissuto con i suoi genitori, un fratello e cinque sorelle. La sua famiglia si trasferì infine a Annapolis nel Maryland. Poco dopo, quando Williams aveva nove anni, suo padre morì di tubercolosi. La madre di Williams si rese conto di non poter gestire l'intera famiglia e mandò alcuni dei bambini a vivere con i parenti. Williams è stato apprendista di un calzolaio a Baltimora ma scappò per raggiungere sua madre, che si era trasferita a Rockford in Illinois. In seguito si è trasferito a Edgerton in Wisconsin, dove si è trasferito dalla sorella e ha aperto un proprio negozio di barbiere. Dopo essersi trasferito nella vicina Janesville, Williams rimase affascinato dal lavoro di un medico locale e decise di seguire la sua strada.