Letterman si ammala dopo il ritiro dal servizio pubblico e muore a San Francisco il 15 maggio 1872, all’età di 47 anni, a causa delle cattive condizioni di salute conseguenti agli anni di guerra e alle problematiche gastrointestinali da lui studiate che affliggevano i soldati.