Nel 1959 la famiglia decise di trasferirsi a Boston, rimanendoci fino al 1961. Nel frattempo Sonya lavorava duramente nelle case di gente ricca, come baby-sitter e domestica. Si interessò sempre molto dell'istruzione dei suoi figli, tanto che li obbligò a leggere e a riassumere due libri alla settimana. Tornarono nella casa dove avevano vissuto prima del divorzio e Benjamin si iscrisse al liceo Hunter, una scuola a maggioranza di allievi di colore, e fu un allievo eccellente.