Era figlio di Alfred Downing Fripp, avuto dalla seconda moglie, Eliza Bannister Roe. La prima moglie di suo padre, Anne Dalton Allies, era cugina di John Neale Dalton, padrino di Fripp e tutor dei principi Alberto Vittorio ('Eddy') e Giorgio. Anne morì nel 1850 dopo aver dato alla luce la sorellastra di Fripp, Annie. Fripp aveva un'altra sorella, Jeanie (Edith Jane), e un fratello, Rex (Reginald). Annie sposò Edward Penny, che divenne medico per il Marlborough College. Rex morì all'età di diciotto anni, nel 1895. I loro genitori morirono a causa dell'epidemia bronchiale. Jeanie sposò William Hale-White, figlio di Mark Rutherford. Hale-White e Fripp lavorarono al Guy's Hospital insieme per più di trent'anni.