De senaste protesterna är en reaktion på att han sparkade två finansministrar förra veckan, vilket ytterligare skadar förtroendet för ekonomin.
Detta kommer utöver påståenden om utbredd korruption, senaste studentprotester och en följdstrid i den styrande afrikanska nationella kongressen.
Marschers använder hasthag #ZumaMustFall på sociala medier.
#ZumaMustFall hashtag är en ändring av #FeesMustFall som användes för att organisera protester mot en höjning av universitetsavgifterna.
Innan dess användes #RhodesMustFall för att kräva en staty av den brittiska kolonialisten Cecil Rhodes togs bort från universitetet i Kapstadens campus.
"Det känns som början på något stort", berättade en kvinna i 50-årsåldern som heter Lianda.
Det är den första protest hon har varit på sedan hon såg vänner och familj dödas under 1976 Soweto uppror.
För henne var det viktigt att delta i demonstrationerna med sina tonårsdöttrar "för deras framtid". Så tillsammans med tusentals andra kom hon för att registrera sitt missnöje hos ANC:s ledare, som somliga i allt högre grad ser som ett politiskt ansvar.
Men till skillnad från de protester som ledde till att president Thabo Mbeke återkallades 2008 verkar Jacob Zuma fortfarande ha stöd i ANC:s nationella verkställande kommitté.
Tidigare i veckan gick partiets bästa höjdare på TV för att framföra ett budskap till en sydafrikansk publik som fortfarande vacklar från händelserna den senaste veckan, att de fortfarande stöder sin president.
Men privat sägs det att det råder stor oro inom ANC.
Det kanske inte är en arabisk vår, men titta på den här platsen. Olyckan ökar allt mer.
ANC har haft makten sedan slutet av apartheid 1994 och vann en jordskred i allmänna val förra året.
Men ekonomin kämpar, arbetslösheten ligger kring 25 procent och många anklagar ANC:s tjänstemän för korruption.
Zumas beslut att utse den föga kända finansministern Des van Rooyen, innan han ersatte honom fyra dagar senare, fördömdes i stor utsträckning.
Utnämningen ledde randen att falla till rekordlågor, även om det steg efter att han ersattes av den respekterade Pravin Gordhan på söndag kväll.
Tusentals demonstranter marscherar i Sydafrika för att kräva att president Jacob Zuma avskedas.