La passione per le donne sciupò la sua fama di medico e scienziato: nel 1862 fu infatti accusato di stupro ai danni di una ragazza diciannovenne, Mary Travers. Il processo che ne seguì, quasi un preannuncio di quello che in seguito subirà il figlio Oscar, che all'epoca dei fatti aveva otto anni, si risolse con una condanna al risarcimento dei danni per una somma di 2000 sterline.