Nato a Leicester da Joseph Rockley Merrick e Mary Jane Potterton, ebbe un fratello ed una sorella (William Arthur e Marion Eliza) entrambi più giovani di lui. Ma i fratelli di Merrick morirono giovani. Wiliam, nato nel gennaio 1866, morì di scarlattina il 21 dicembre 1870, all'età di 4 anni, e fu sepolto a Natale dello stesso anno. Marion, nata il 28 settembre 1867, è stata disabile sin dalla nascita e si è presa cura di sua madre, che aveva anche lei una disabilità fisica e non si prendeva cura delle condizioni del fratello. Marion morì di mielite e convulsioni il 19 marzo 1891, all'età di 23 anni. Iniziò a mostrare segni di deformità all'età di due anni (o, secondo un servizio della BBC, a cinque anni). Il corpo di Merrick era interamente e grottescamente deformato dalla malattia, esclusi i genitali ed il braccio sinistro. Quando era piccolo subì anche una brutta caduta e si ruppe la gamba sinistra: la famiglia, essendo povera, non poté pagare le cure mediche, così Joseph dovette rassegnarsi a vivere con la gamba storpia non solo per effetto della malattia, ma anche per la frattura mai risanatasi. Sua madre, Mary Jane, morì quando lui aveva 11 anni e, secondo i ricordi della famiglia, era anche lei zoppa. Joseph, rimasto orfano di madre, fu costretto a vivere con il padre, Joseph, e la matrigna; ma la donna, padrona della casa e con figli propri, non gradiva la presenza del ragazzo deforme e impose al marito una drastica decisione: "prendi una decisione: o Joseph, o me".