I fratelli Collyer nascono da Herman Livingston Collyer (1857-1923), un ginecologo di Manhattan che lavora al Bellevue Hospital, e Susie Gage Frost (1856-1929); hanno una sorella, Susan, che muore ancora bambina nel 1880. Le origini della famiglia possono essere fatte risalire ad una comunità giunta nel 1620 in Massachusetts sulla nave Speedwell presumibilmente solo una settimana dopo la Mayflower; la famiglia dei fratelli Collyer, in particolare, trae discendenza dall'antica e rispettabile famiglia Livingston di New York, giunta a New York dalla Scozia nel 1672. Frequentano scuole prestigiose, ed entrambi si iscrivono alla Columbia University, appena trasferita presso l'attuale sede di Morningside Heights, distante solo 20 minuti di cammino dalla casa dei Collyer. Homer si laurea in diritto della navigazione, e Langley in ingegneria (la Columbia University, tuttavia, afferma che non ci sono tracce della partecipazione ai corsi), nel tentativo di diventare un inventore. Langley suona anche il pianoforte a livello professionale al Carnegie Hall e diventa presto un musicista dall'aspetto singolare: la sua lunga chioma fluente è di certo una rarità per l'epoca, inoltre è un esperto di giustizia presso la Trinity Church. Nel corso degli anni l'eccentricità di entrambi i fratelli si fa sempre più evidente. Langley si cimenta con diverse invenzioni, tra cui un apparecchio per aspirare l'aria all'interno dei pianoforti e una Ford modello T modificata per produrre elettricità.