Mannen, som var i 20-årsåldern, räddades av en frivillig besättning från Bangor RNLI.
Livbåtens operationschef sa att han kunde ha dött om han hade stannat i vattnet i fem minuter till.
Larmet väcktes av Mark Pollock, som arbetade i Banks Car Park.
När han hörde svaga skrik, trodde han till en början att det var någon som ropade på sin hund, men han fortsatte att leta tills han insåg att det fanns någon i havet.
Han ringde kustbevakningen.
Bangor RNLI:s rorsman James Gillespie sa när de kom "det tidiga morgonljuset gjorde det svårt att se, men lyckligtvis var vattnet platt lugnt, och på skanna området såg jag en liten rörelse när olyckan höjde hans hand".
En annan besättningsmedlem, Johnny Gedge, kom in och hjälpte mannen, som bara var vid medvetande, tills han kunde lyftas ombord.
Gillespie sade: "Vår omfattande utbildning i vård av olycksfall är ovärderlig vid en tidpunkt som denna.
"På grund av detta vet vi vikten av att inte försöka värma patienten för snabbt, eftersom detta kan orsaka hjärtstillestånd.
"I stället gjorde vi patienten säker, och förhindrade ytterligare kylning, och återvände så snabbt och säkert som möjligt till livbåtsstationen där en ambulans och sjukvårdare väntade på att ta över."
Den räddade mannen bar bara träningsoveraller, en t-shirt och strumpor. Det är inte klart varför han var i vattnet.
"Jag är bara glad att jag hörde hans samtal, och hoppas att han gör en fullständig återhämtning", sade Pollock.
En man har räddats från havet 200 meter utanför kusten vid Ballyholmebukten, nära Bangor, efter att en man som arbetade i närheten hörde skrik och kallade kustbevakningen.