Nel 1848 Amelia Holmes ereditò 2.000 dollari, che lei e suo marito usarono per costruire una casa per le vacanze a Pittsfield, Massachusetts. Dall'inizio del luglio 1849 la famiglia trascorse lì “sette estati benedette”. Avendo da poco rinunciato al suo studio medico privato, Holmes fu libero di intrattenersi con altri personaggi letterati che soggiornavano nello Berkshires; nell'agosto 1850, per esempio, Holmes passò del tempo in compagnia di Evert Augustus Duyckinck, Cornelius Mathews, Herman Melville, James Thomas Fields e Nathaniel Hawthorne. A Holmes piaceva misurare la circonferenza degli alberi della sua proprietà e teneva nota dei dati; egli scrisse di avere “un'intensissima e appassionata amorevolezza per gli alberi in generale e un attaccamento romantico nei confronti di alcuni di essi in particolare.” L'alto costo del mantenimento della loro casa a Pittsfield costrinse la famiglia Holmes a venderla nel maggio 1856.