Gräfe studiò medicina a Halle e Lipsia e, dopo aver ottenuto la licenza a Lipsia, nel 1807 fu nominato medico privato del duca Alessio di Anhalt-Bernburg. Nel 1811 divenne professore di chirurgia e direttore dell'istituto oftalmologico dell'Università di Berlino. I suoi insegnamenti all'Università di Berlino attirarono gli studenti da tutte le parti d'Europa. Durante la sesta coalizione contro Napoleone, fu sovrintendente degli ospedali militari.