Quando nel 1868 il chirurgo Johann Juengken si dimise dalla sua professione, fu conferita a Graefe la direzione della clinica oculistica dell'Ospedale della Charitè anche se era già seriamente malato. Graefe morirà infatti due anni più tardi a causa degli effetti della tubercolosi polmonare che aveva contratto all'età di trent'anni.