Han hade "misslyckat testet" av ledarskap och Sydafrika behövde hålla för att redovisa de som "lösa" statliga resurser, sade det.
Zuma har utsatts för anklagelser om korruption i mer än tio år.
Anropet från NMF, som drivs av kolleger från Sydafrikas första svarta president, är det senaste tecknet på växande missnöje med hans styre.
Dess ingripande kom när en domstol började höra ett bud från Zumas juridiska grupp om att förhindra att den tidigare korruptionsbekämpande chefen Thuli Madonsela lämnade ut en rapport.
Hon undersökte anklagelserna om att han lät den rika familjen Gupta utöva otillbörligt inflytande i sin regering. Både Zuma och Guptas har förnekat något orätt.
I ett uttalande med titeln Tid för att förklara förlamningen av staten sade NMF att den styrande afrikanska nationella kongressen (ANC) behövde vidta åtgärder för att sätta regeringen tillbaka i "säkra och kapabla händer".
"Tjugo år sedan Nelson Mandela undertecknade Sydafrikas konstitution i lag och som den tredje årsdagen av hans bortgång närmar sig, är det smärtsamt för oss på Nelson Mandela Foundation att vittna om hjulen som kommer av fordonet i vår stat," NMF tillade.
Mandela satt mer än 27 år i fängelse för att ha bekämpat den vita minoriteten och blev Sydafrikas första demokratiskt valda ledare 1994.  Han avgick fem år senare och dog i december 2013 vid 95 års ålder.
NMF sade Sydafrikas demokrati var nu under ett "verkligt hot", med viktiga statliga institutioner som används för att främja "privata intressen".
– Vi skördar resultaten av en politisk trend att personifiera statsangelägenheter kring en enskild ledare. Detta i en konstitutionell demokrati måste beklagas", tillade man.
Madonselas utredning utlöstes av anklagelser i mars från biträdande finansminister Mcedisi Jonas om att familjen Gupta hade gjort "ett hån mot vår hårt förtjänade demokrati" genom att erbjuda honom finansministerns tjänst förra året.
Jonas avvisade erbjudandet och Guptas anklagade honom för politisk poängsättning.
Tidigare ANC MP Vytjie Mentor hävdade också att familjen erbjöd henne den mäktiga offentliga företagsministerposten 2010 i utbyte mot affärsförmåner.
Mentor hävdade att Zuma befann sig i en annan del av Guptas familjehem i Johannesburg när erbjudandet lämnades. Zumas kontor sade då att han inte hade något "minne" av Mentor, medan familjen starkt förnekade hennes påstående.
Mentor och oppositionspartier, däribland Demokratiska alliansen (DA) och EFF (Economic Freedom Fighters), utmanar Zuma i rätten och insisterar på att rapporten ska offentliggöras.
EFF-anhängarna protesterar utanför Högsta domstolen i huvudstaden Pretoria för att kräva att den offentliggörs.
Zumas talan vid domstolen hindrade Madonsela från att publicera rapporten innan hon avgick som offentlig beskyddare i slutet av sin mandatperiod förra månaden.
Han sade att det skulle vara olagligt att släppa rapporten eftersom han inte hade fått tillräckligt med tid för att svara på anklagelserna.
Detta var andra gången Madonsela undersökte Zuma under sin sjuårsperiod.
I mars bekräftade Sydafrikas högsta domstol sina slutsatser om att Zuma "omåttligt gynnades" av statliga medel som användes för att uppgradera hans privata hem på landsbygden.
Det ledde till omfattande uppmaningar till Zuma att avgå, men han överlevde en DA-sponsrad åtalsomröstning i parlamentet efter att ANC:s parlamentsledamöter hade samlat sig bakom honom.
Korrespondenterna säger att innehållet i Madonselas senaste betänkande är oklart, men Zuma kommer med största säkerhet att ställas inför ännu en åtalsomröstning om det finns några negativa resultat om honom.
Presidenten står också i centrum för ett annat fall och försöker upphäva ett enhälligt utslag från en högsta domstol om att han skall ställas inför rätta på 783 fall av korruption i samband med en vapenaffär som förhandlades fram 1999.
Nelson Mandela Foundation (NMF) har begärt att Sydafrikas president Jacob Zuma ska avskedas.