Gräfenberg studiò medicina a Gottingen e Monaco, conseguendo il dottorato il 10 marzo 1905. Dopo un breve periodo passato a lavorare come dottore di oftalmologia all'Università di Würzburg, si spostò all'Università di Kiel, nel dipartimento di ostetricia e ginecologia, dove pubblicò studi sulla metastasi cancerosa e sulla embriologia. Nel 1910 lavorò come ginecologo a Berlino, e nel 1920 ottenne uno studio nel rispettabile quartiere Kurfürstendamm. Nello stesso periodo era anche capo ginecologo di un ospedale municipale di Britz, e stava cominciando a studiare la fisiologia della riproduzione umana all'Università di Berlino.