Per quanto riguarda la vita privata, nel 1862 nacque il primo figlio Everleigh. Tuttavia, a parte il nome, su di lui non sono note molte informazioni, a causa della sua morte prematura all’età di 21 anni. Un anno dopo, nel 1863, nacque la sua prima e unica figlia femmina, di nome Lilian. Anche lei, però, fu sfortunata: colpita da un’infezione virale al cervello associata alla meningite, all’epoca incurabile, morì dopo poche settimane con enorme sofferenza da parte dei Langdon Down. Gli altri due figli della coppia, Reginald e Percival, nacquero rispettivamente nel 1866 e nel 1868.