La famiglia Garrett visse fino al 1852 in un casa georgiana situata nei pressi della chiesa di Aldeburgh. In breve tempo il giro di affari del padre di Elizabeth, si espanse, e come tale anche la sua famiglia ; nacquero altri 5 bambini: Alice nel 1842, Millicent nel 1847, Sam nel 1850, Josephine nel 1853, e George nel 1854. 