Sebbene nel 1856 si iscrisse alla St. Johnsbury Academy per un anno per diventare insegnante, non fu mai veramente felice in quella professione. Nel 1860 conobbe George Poole, con cui si fidanzò. Non molto tempo dopo il loro fidanzamento, Poole si unì ai Green Mountain Boys e lasciò la casa per combattere nella guerra civile americana. Fu gravemente ferito nel 1865, e quando tornò a casa, Richards si prese cura di lui fino alla sua morte nel 1869.