Gregg nacque il 7 marzo 1892 a Burwood, un sobborgo di Sydney. Ha studiato alla Homebush Grammar School e alla Sydney Grammar School, in seguito ha studiato Medicina all'Università di Sydney, laureandosi con una laurea in Medicina e Chirurgia e il massimo dei voti in 1915. Durante la sua formazione, Gregg è stato uno sportivo attivo e capace, giocando a cricket, tennis, baseball, nuoto e hockey su ghiaccio all'università. Dal 1913 al 1914, rappresentò il New South Wales nel cricket tre volte, e una volta nel tennis. Se non fosse stato per lo scoppio della prima guerra mondiale, Gregg si sarebbe qualificato per la squadra australiana della Coppa Davis.