Sharp nasce a Falmouth, nel Kentucky. Studia chimica e matematica presso lo Union College. Consegue il dottorato in chimica presso l'Università dell'Illinois all'Urbana-Champaign nel 1969. In seguito, lavora al California Institute of Technology (Caltech) fino al 1979, studiando i plasmidi. Successivamente, studierà l'espressione genica nelle cellule umane al Cold Spring Harbor Laboratory, sotto la supervisione di James Dewey Watson.