Salva Kiir utfärdade ett dekret om att avskeda alla ministrar och biträdande ministrar samt vice ordförande Riek Makar.
Ingen tydlig anledning gavs till avskeden, men analytikerna säger att Kiir och Makar har varit indragna i en maktkamp i månader.
Sydsudan har drabbats av kroniska ekonomiska problem sedan landet skiljdes från Sudan 2011.
Det fanns en stark säkerhet utanför tjänstehusen på onsdagen, medan radiosändningarna uppmanade människor att hålla sig lugna, rapporterar nyhetsbyrån AFP.
Dess stabilitet har hämmats av kvardröjande rader över territorium och olja med sin norra granne.
Några av Kiirs kolleger har nyligen antytt missnöje med hans ledarskap.
Lokala rapporter säger att Kiir kämpar för att behålla kontrollen över Sudans folks befrielserörelse (SPLM), den tidigare rebellgruppen som nu styr landet.
Makar, som hade berövats en del av sina befogenheter i april, hade antytt att han kan stå emot Kiir som ledare för SPLM före nästa presidentval 2015.
Genom Nyambura WambuguBBC News, Juba
Att lösa upp kabinettet i Sydsudan tyder på ett bredare försök av presidenten att omstrukturera inte bara regeringen utan även makten och tillgången till makten i landet.
Under de senaste veckorna har det förekommit rapporter om ansträngda förbindelser inom den styrande SPLM och förhållandet mellan presidenten och hans ställföreträdare sägs vara mycket lågt.
Även om omstruktureringen av regeringen har varit en lång tid framöver, är dess timing nyfiken och väcker misstankar om att presidenten skulle kunna använda sin verkställande makt för att utrota meningsskiljaktigheter i partiet och oenighet inom sin regering.
Huruvida avskedandet av hela kabinettet kommer att lyckas lugna oron inom Sydsudans politiska kretsar återstår att se - det finns också en verklig rädsla för att detta ytterligare skulle kunna splittra landet på etniska linjer.
BBC: s Nyambura Wambugu i huvudstaden, Juba, säger att det finns en verklig rädsla för att avskedandet kan ytterligare dela landet längs etniska linjer.
Kiir kommer från Dinkagemenskapen, som är den största i Sydsudan, medan Makar är från den näst största gruppen, Nuer, av vilka några har klagat över Dinka dominans.
Undersekreterare har fått ansvar för departementen och regeringen insisterar på att den kan fungera smidigt tills nya ministrar har utsetts.
Barnaba Marial Benjamin, som hade varit informationsminister fram till tisdagen, betecknade avskedandet som en "stor omväxling" och sade att det var en del av Kiirs konstitutionella mandat.
"En del av dessa människor kommer tillbaka och en del kommer inte," Mr Benjamin AFP.
Bland de andra ledare som skulle avskedas var Pagan Amum, den främsta förhandlaren i fredssamtal med Sudan.
Han avlägsnades från sin post som SPLM:s generalsekreterare och dekretet sade att han skulle utredas för att ha misskött partiet.
Förra månaden sparkade Kiir två andra högre ministrar som var inblandade i en finansskandal på flera miljoner dollar, ett beslut som enligt uppgift kritiserades av Amum.
Det var oklart om tisdagens dekret hade någon koppling till skandalen.
Sydsudanesisk journalist Nihal Bol sade att Kiir förmodligen hade agerat för att få ett slut på förlamningen i hans regering.
"Saker har inte rört sig i regeringen på grund av denna interna strider om vem som kommer att kontrollera SPLM," Mr Bol berättade Reuters nyhetsbyrå.
Sydsudan är rikt på olja, men är ett av Afrikas minst utvecklade länder, med få asfalterade vägar och dålig hälsa och utbildningsanläggningar.
Det blev självständigt från Sudan i juli 2011 efter ett decennier långt inbördeskrig.
Oljeraffinaderierna befinner sig dock på sudanesiskt territorium, så södern förlitar sig på sin nordliga granne för att få ut sin produkt på marknaden.
Sydsudans president har sparkat hela hans kabinett, i en skenbar maktkamp med andra högre ledare.