Sesto e ultimo figlio di Hanna Hayvon e Joseph Almond Down, John Langdon Down nacque a Torpoint nel 1828, in una famiglia di carattere religioso. Il padre gestiva una farmacia aiutato dai figli, in modo particolare dal primogenito Richard. Dopo aver completato gli studi classici alla scuola di Devonport, iniziò a nutrire un forte interesse per la scienza, ambito che riteneva poteva garantire sicurezza e stabilità.