Paul Langerhans nacque in una famiglia di medici ed ebbe la fortuna di beneficiare dell'eccellente ambiente intellettuale in cui visse. Suo padre, Paul Langerhans, di fede protestante, lavorava a Berlino dove era molto conosciuto. Sua madre, Keibel, era cugina di Franz Keibel, un eminente istologo. Paul Langherans aveva anche due fratelli: il primo, Robert Langerhans (1859-1904), fu assistente di Virchow e divenne in seguito professore di patologia, mentre il secondo, Richard Langerhans, praticò medicina a Berlino, dove ottenne il titolo di Sanitätstrat ( consulente di salute).