Gräfe morì improvvisamente ad Hannover, dove fu chiamato per operare agli occhi il principe. La sua tomba si trova a "Friedhof II der Jerusalems- und Neuen Kirchengemeinde" (cimitero n. II delle congregazioni della Chiesa di Gerusalemme e della nuova chiesa) a Berlino-Kreuzberg, a sud di Hallesches Tor.