Nel 1909 il Dr. Herman Collyer, assieme a sua moglie e ai suoi due figli, si trasferisce nella nuova residenza ad Harlem, in un momento in cui questo è un quartiere altolocato in cui numerosi cittadini abbienti di New York pensano di andare a vivere. Anche lo stesso Dr. Collyer è famoso per le sue stravaganze, e spesso viene avvistato mentre pagaia in canoa lungo l'East River per raggiungere il City Hospital su Blackwell's Island, in cui lavora occasionalmente, per poi tornare a casa con la canoa sulle spalle una volta riapprodato sull'isola di Manhattan. Abbandona la famiglia nel corso del 1919, pochi anni prima di morire, senza alcuna spiegazione; si ignora anche se, all'abbandono della casa di Harlem, la moglie lo segua nella nuova casa al 153 West della 77ª Strada. In ogni caso Homer e Langley rimangono nella casa abbandonata dal padre e, dopo la morte dei genitori (il Dr. Collyer nel 1923 e la moglie nel 1929), ereditano tutte le loro proprietà e le trasferiscono nella casa di Harlem.