Holmes faceva parte della classe 1829 di Harvard e per i primi anni della carriera universitaria alloggiò presso una residenza privata piuttosto che presso i dormitori. Poiché era alto solo “cinque piedi e tre pollici quando calzava un paio di grossi scarponi", il giovane studente non ebbe alcun interesse a far parte di squadre sportive o dell'Harvard Washington Corps. Al contrario si unì agli "Aristocrats" or "Puffmaniacs", un gruppo di studenti i quali si riunivano per fumare e parlare. Siccome abitava in città ed era figlio di un ministro della chiesa, gli fu facile muoversi tra i gruppi sociali. Fece anche amicizia con Charles Chauncy Emerson (fratello di Ralph Waldo Emerson), più grande di lui di un anno. Durante il secondo anno scolastico Holmes fu uno dei 20 studenti che ricevettero l'onore scolastico "Deturs", premio che includeva una copia di "Le Poesie di James Graham, John Logan e William Falconer". Nonostante i suoi successi scolastici il giovane studente confessò ad un compagno di Andover di non studiare tanto come avrebbe dovuto. Egli, tuttavia, eccelse nelle lingue e prese lezioni di francese, italiano e spagnolo.