Richards nacque nel 1841 a West Potsdam, New York. Nel 1845 si trasferì con la sua famiglia nel Wisconsin, dove possedevano alcuni terreni. Tuttavia suo padre morì di tubercolosi poche settimane dopo il loro arrivo lì, e la famiglia dovette presto tornare a casa dei nonni di Richards a Newbury, nel Vermont. Acquistarono una piccola fattoria appena fuori città e vi si stabilirono. Anche Betsy Sinclair Richards contrasse la tubercolosi e Linda Richards accudì sua madre fino alla sua morte per la malattia nel 1854.