Leslie aveva avuto una figlia dalla sua prima moglie, Marian Harriett "Minny" Thackeray: Laura Makepeace Stephen , successivamente dichiarata mentalmente instabile.
Leslie Stephen, quale letterato di fama nell'ambiente inglese e per la sua parentela con William Makepeace Thackeray, padre della prima moglie Minny, fece sì che la sua prole fosse allevata in un ambiente riccamente influenzato dalla società letteraria vittoriana.
Henry James, Thomas Stearns Eliot, George Henry Lewes, Julia Margaret Cameron – zia di Julia Prinsep Jackson – e James Russell Lowell, padrino della stessa Virginia, furono tra i più frequenti visitatori di casa Stephen.
Il padre, anche lui duramente colpito dalla perdita, vendette l'amata casa al mare.