All’inizio della guerra civile, nel maggio del 1862, Letterman viene nominato Direttore Medico del Dipartimento di Guerra, e nel luglio dello stesso anno viene assegnato all’Armata del Potomac, presso il fiume James. Giunto presso la base militare di Harrison’s Landing, poiché le tende per il ricovero dei “"sick and wounded"” non erano sufficienti, egli adibisce a ospedale la Thomas Harrison House (l’unico edificio disponibile nelle vicinanze). 