根據我家的家譜，余家早在潛山縣官莊鄉落戶，但余氏一族中在明清以來都沒有產出過舉人、進士，因此都守在鄉間，沒有遷移到大城市中去。我的祖父好像是一位秀才，但沒有更高的功名，仍然鼓勵四個兒子讀書，只有我父親因為是最小的兒子，才獲得較好的機會。但父親生在清末，已無科舉可考，只能爭取接受現代新式教育。因此先後在安慶、南京、北京讀中學以至大學，最後從燕京大學歷史系畢業。當時畢業論文是〈劉知幾之史學〉，由陳垣（援庵）教授指導寫成。
以後我記得隨父親先後住過南京和開封。父親便在資源委員會擔任過專門委員之職，研究美國史與國際關係，這是在南京的時期。抗戰前幾年，父親的好友蕭一山在開封河南大學擔任文學院長，邀請他做文史系主任，當時范文瀾也在系中，他們認識，不過不算有深交。所以我的記憶中有不少關於開封和河南大學的片斷。一九三七年七七抗戰開始，我記得一家人乘鐵皮火車從開封到南京，再坐輪船到安慶，在安慶住到年尾，日本軍隊已威脅到我們的生存了，這樣便回到潛山的故鄉官莊。
我有系統的記憶便是從這時開始的，以後的事有些至今猶如在眼前一樣。我說這一段故事，表示我父親這一代才離鄉外出，但根還在故鄉，遇到戰爭的危機，父親決定把家人送回鄉下。不過父親跟政府遷去重慶，我是和伯父、伯母一起回鄉的。如果父親、伯父這一代或更上幾代早就移居大城市，我便沒有機會回鄉了。