Figlio di William Pepper, Sr. e Sarah Platt Pepper, sposò Frances Sergent Perry il 25 giugno 1873. Dal matrimonio nacquero quattro figli (William, Thomas, Benjamin e Oliver Pepper). Studiò alla University of Pennsylvania terminando il college nel 1862 e laureandosi in medicina nel 1864.