La prima casa di Edward, dopo aver sposato Catherine, fu la cosiddetta "The Chantry", una grande casa sulla collina di Berkeley vicina al castello e alla chiesa del paese. La vita matrimoniale procedeva in modo idilliaco e nel gennaio del 1789 nasceva il primogenito Edward.