Nel 1962, Gilman ottiene il "Bachelor of Science" presso l'Università di Yale. In seguito, si unisce a un programma di dottorato alla Case Western Reserve University School of Medicine di Cleveland, in Ohio, dove vorrebbe studiare sotto la supervisione di Earl Wilbur Sutherland. Questi, però, si trasferisce alla Vanderbilt University, e Gilman viene affidato a Thedore Rall. Ottiene il titolo di dottore di ricerca alla Case Western nel 1969 e intraprende gli studi successivi ai National Institutes of Health con Marshall Warren Nirenberg dal 1969 al 1979.