Родина оселилася в містечку Воксхоу за 160 миль від Чарлстона, де придбала близько 200 акрів землі. Ендрю-старший протягом двох років хотів створити ферму, але в січні 1767-го несподівано помер, не дочекавшись народження сина — Ендрю-молодший з'явився на світ за два місяці після смерті батька.