Il 15 giugno 1840 Holmes sposò Amelia Lee Jackson nella King's Chapel di Boston. Ella era la figlia dell'onorevole Charles Jackson, che in passato era stato Giudice Associato della "Massachusetts Supreme Judicial Court" e nipote di James Jackson, il medico con il quale Holmes aveva studiato. Il Giudice Jackson diede agli sposi una casa al numero 8 di Montgomery Place, che sarebbe diventata la loro residenza per i successivi diciotto anni. Ebbero tre figli: Oliver Wendell Holmes Jr., ufficiale durante la guerra civile nonché giurista statunitense (1841–1935), Amelia Jackson Holmes (1843–1889), ed Edward Jackson Holmes (1846–1884).