Сер Вільям визнав батьківство своїх незаконнонароджених дітей і забезпечив їх освітою, але виховували їх швидше його родичі, аніж дружина чи разом з законними дітьми. 1855 року сім'я переїхала на , 1, де в 1857 році народилася сестра письменника, Ізола. Новий дім Вайлдів був більшим, а успіх у суспільстві обох його батьків невдовзі почав збирати там «унікальне медичне і культурне середовище». Серед гостей, які відвідували їхній салон, були Шерідан Ле Фану, , , Айзек Батт, Вільям Ровен Гамільтон і .