Lord O'Donnell berättade för Times att det skulle ta parlamentet "år och år" att helt skilja sig från Bryssel.
"Det beror mycket på vad som händer med den allmänna opinionen och om EU förändras innan dess", sade han.
Han sade senare till BBC att han inte trodde att EU skulle göra de radikala förändringar som krävs för att Storbritannien ska förbli medlem.
Som Gus O'Donnell var han kabinettssekreterare 2005–2011 och är nu en korsbentare i överhuset.
Lord O'Donnell sade till Times: "Många människor kommer att säga "vi har haft folkomröstningen, vi har beslutat att gå ut, så det är allt, det är över".
"Det kan vara så att den bredare, mer löst anpassade gruppen är något som Storbritannien är glad att vara medlem i."
Frågade om dessa kommentarer, berättade han BBC Radio 4 detta var ett exempel på en "låg sannolikhet händelse som kan innebära att vi inte lämnar".
Han sade också att hans "centrala antagande" var att EU inte skulle förändras radikalt.
"Sannolikheten att vi inte lämnar är mycket, mycket låg och vi måste gå vidare och genomföra folkets beslut", tillade han.
Lord O'Donnell sade att det skulle vara svårt att få Brexit att hända, delvis eftersom artikel 50 i Lissabonfördraget - det steg som krävs för att officiellt inleda processen - utformades "på ett sätt som är mycket starkt för dem som stannar kvar, inte den som lämnar partiet".
Han sade att han "inte skulle ha bråttom" för att utlösa artikel 50, eftersom regeringen först måste utarbeta en "strategisk plan för att säga "vilken typ av Storbritannien vi vill ha, vad är vår plats i världen, vad försöker vi uppnå i dessa förhandlingar"?
Att hantera Brexit skulle vara en "oförutsedd utmaning" för regeringen och statsförvaltningen, tillade han.
I sin intervju i Times sade Lord O'Donnell att Theresa May - som ersatte David Cameron som premiärminister efter att den brittiska allmänheten röstade med 52 % till 48 % för att lämna EU - nu stod inför ett "verkligen svårt jobb".
"Hon måste få in alla dessa olika individer, komma på exakt vilken version av Brexit vi vill ha, vad som fungerar bäst för det brittiska folket, och sedan gå om att genomföra det," sade han.
Han sade att han inte var "ett stort fan av folkomröstningar", och tillade att det fanns "löjliga påståenden" på båda sidor i Storbritanniens debatt om EU-medlemskap.
May har sagt att de formella samtalen om Storbritanniens "känsliga och ordnade avresa" från EU inte kommer att inledas förrän nästa år - men hon har varit tydlig med att "Brexit betyder Brexit".
Gus O'Donnell tjänstgjorde som pressekreterare under John Major, och sedan som kabinettssekreterare - Storbritanniens högsta tjänsteman - i kabinetten för Tony Blair, Gordon Brown och David Cameron.
En före detta chef för den offentliga förvaltningen har sagt att Storbritannien kan förbli i en "mer löst anpassad" EU, trots folkomröstningen för att lämna.