In famiglia Harvey portò lo stesso clima rigido e permeato di disciplina nel quale era cresciuto. All'età di trentuno anni si sposò con Katharine Stone Crowell, sua storica amica di infanzia di Cleveland, dalla quale ebbe cinque figli: William Harvey, Mary Benedict, Bestey, Henry Kirke e Barbara. Ma la vita del luminare si svolgeva la maggior parte del tempo in corsia nelle sale operatorie e la sera a casa era solito passare molto tempo a redigere le sue pubblicazioni. I membri del suo "staff" lo rispettavano con sacra riverenza, mentre i suoi pazienti lo stimavano per la grande gentilezza e umiltà con le quali Harvey li approcciava. Famose sono le sue battute sarcastiche riguardo alla sua "équipe" di infermiere che Harvey scherzosamente chiamava il suo "harem".