All'età di 15 anni il giovane Holmes fu iscritto dal padre alla Phillips Academy ad Andover, in Massachusetts. Abiel Holmes scelse la Phillips Academy perché era famosa per i suoi insegnamenti calvinisti ortodossi, con la speranza che il figlio maggiore avrebbe seguito la sua stessa carriera di ministro della Chiesa. Holmes comunque non aveva nessun interesse a diventare teologo e dopo un solo anno abbandonò l'istituto. Sebbene si fosse distinto tra i membri della Social Fraternity, un club letterario, a Holmes non piacquero le idee della maggior parte degli insegnanti della scuola, che giudicava bigotte, chiuse e incivili. Un insegnante in particolare notò lo spiccato talento del giovane alunno per la poesia e gli suggerì di svilupparlo. Poco dopo il suo sedicesimo compleanno fu accettato all'Harvard College.