Williams si sposò nel 1898 con Alice Johnson, figlia naturale dello scultore americano Moses Jacob Ezekiel e di una domestica di razza mista. Williams è morto di ictus a Idlewild in Michigan il 4 agosto 1931. Sua moglie, Alice Johnson, è morta nel 1924.