Nel 1874 sposò Mary Elizabeth Hackard, dalla quale ebbe cinque figli: Charles, Edwin, Catherine, Elizabeth ed Eleonore. Decise così di tornare nelle campagne dell'East Hampton per condurre una vita serena e ritirata esercitando la professione il più lontano possibile dal caos della città. I motivi della sua scelta furono molteplici, a partire dal suo intramontabile amore per la natura, la sua passione per la caccia, la voglia di crescere i suoi figli, ma soprattutto l'insorgere di alcuni problemi di salute tra i quali intensi attacchi d'asma che minavano fortemente la sua salute talvolta anche per più settimane.