Holmes morì tranquillamente dopo essersi addormentato nel pomeriggio di domenica 7 ottobre 1894. Come scrisse suo figlio Oliver Wendell Holmes Jr.: “La sua morte fu tanto serena quanto potessero desiderare coloro che lo amavano. Ha semplicemente smesso di respirare.” La celebrazione in memoria di Holmes fu tenuta a King's Chapel e fu presieduta da Edward Everett Hale. Holmes fu sepolto accanto a sua moglie nel Mount Auburn Cemetery a Cambridge, Massachusetts.