Nello stesso anno, Holmes fu avvicinato da Martin Delany, un afroamericano che aveva lavorato con Frederick Douglass. Il trentottenne chiese di essere ammesso ad Harvard dopo essere stato precedentemente respinto da quattro scuole nonostante le sue eccellenti credenziali. Nonostante numerose critiche, Holmes ammise Delany ed altri due uomini neri alla Medical School. Ciò ebbe come conseguenza una dichiarazione degli studenti sulla quale era scritto: ”Premesso che non abbiamo obiezioni alla formazione e alla valutazione dei neri, protestiamo, però, fortemente contro la loro presenza con noi nel nostro stesso College.” Sessanta studenti firmarono il documento, mentre altri quarantotto ne sottoscrissero un altro nel quale si sosteneva che sarebbe stato “un male ancora più grande, se allo stato attuale del sentimento pubblico, un collegio medico di Boston rifiutasse a questa sfortunata classe il diritto dell'istruzione.” In risposta a ciò, Holmes disse agli studenti neri che non avrebbero potuto continuare dopo quel semestre. L'assemblea di facoltà ordinò a Holmes di scrivere che “il mescolare le razze è sgradevole per una gran parte della classe e lesivo per gli interessi della scuola.” Sebbene appoggiasse le lotte dei neri per il diritto dell'istruzione, non fu un abolizionista; contro quella che egli considerò l'abitudine degli abolizionisti di servirsi di “ogni forma di linguaggio per mettere discordia”, egli sentiva che il movimento esagerasse troppo. Questa mancanza di appoggio deluse amici come James Russel Lowell, il quale una volta disse a Holmes che avrebbe dovuto schierarsi più esplicitamente contro la schiavitù. Holmes con calma gli rispose: “Lascia che io provi a migliorare e a dar piacere a coloro che mi ascoltano a modo mio per il momento.” Nonostante tutto Holmes credeva che la schiavitù potesse essere abolita in modo pacifico e legale.