Potter si ritirò a metà degli anni '60 e si trasferì a Fort Myers, in Florida, con Alvin Meyer. Meyer è morto nel 1976. In seguito Potter sposò Frank Deats, coordinatore architettonico e acquarellista. Deats morì nel 1983, dieci anni prima della morte della Potter. Dopo il suo ritiro dalla carriera accademica, Potter si interessò all'orticoltura, in particolare alla coltivazione di piante d'appartamento. In particolare, Potter coltivò bromeliacee e donò 122 piante all'Università del Minnesota nel 1980 per istituire il Conservatorio Meyer-Deats nell'arboreto della scuola. Il giardino d'inverno è stato nominato in onore dei mariti della Potter. 