Synpunkterna kom före hans budgettal, där han minskade landets tillväxtprognos för 2016 till 0,9 %, från 1,7 %.
Han medgav att ekonomin kämpade med krympande tillväxt, 25 % arbetslöshet och utbredd fattigdom.
Den sydafrikanska valutan, randen, som halverats under de senaste fem åren, föll efter talet.
Det sjönk 2,25% för att göra ett rand värt runt $0.0639.
I en genomgång inför budgeten sade Gordhan: "Det råder ingen tvekan om att vi befinner oss i en kris."
De åtgärder som tillkännagavs i parlamentet syftade till att stoppa landet som faller i recession och att blidka de kreditvärderingsinstitut som har hotat att nedgradera Sydafrika till skräpstatus, vilket skulle öka upplåningskostnaderna för landet.
Gordhan presenterade nedskärningar i de offentliga utgifterna, frysning av offentliga tjänster och måttliga skattehöjningar.
Dessa skattehöjningar påverkar fastighetsförsäljning, bränsle, söta drycker, alkohol, tobak och realisationsvinster samt miljöavgifter, som förväntas medföra ytterligare 18 miljarder rand (1,18 miljarder dollar; 840 miljoner pund).
Han hade förväntat sig att tillkännage planer på privatisering av statliga tillgångar - han gick miste om detta men sade att regeringen var ute efter möjligheten att slå samman det förlustbringande nationella flygbolaget, South African Airways, med det statligt ägda SA Express flygbolaget "i syfte att engagera sig med en potentiell minoritetsaktiepartner".
Privatisering har länge motarbetats av delar av den styrande afrikanska nationalkongressen.
Gordhan var rakt på sak om sin syn på landet.
"Vi kan inte spendera pengar vi inte har. Vi kan inte låna utöver vår förmåga att betala tillbaka. Tills vi tänder tillväxt och genererar mer intäkter måste vi vara tuffa mot oss själva."
Maike Currie, investeringschef på Fidelity International, sade att hon var osäker på om de åtgärder som tillkännagavs skulle stoppa kreditvärderingsinstituten att minska sina utsikter för landet, som de har varnat för: "Det fanns ingen ökning av momsen, som har förblivit oförändrad på 14% i två decennier nu, eller inkomstskattehöjning som finansministern såg till att dämpa effekterna av skattehöjningar på kämpande sydafrikanska hushåll mitt i en prövande ekonomisk bakgrund.
"Om detta kommer att räcka för att blidka kreditvärderingsinstitut och företag återstår dock att se".
Hon tillade att det var intressant att Gordhan hade fokuserat på att minska de offentliga utgifterna utan att införa åtstramningsåtgärder för vanliga sydafrikaner, till exempel en höjning av inkomstskatten.
I sitt budgettal var Sydafrikas finansminister Pravin Gordhan försiktigt optimistisk och realistisk när det gäller de utmaningar som landet står inför.
Han talade om behovet av att ta itu med onödiga utgifter och var uppriktig om korruption.
Det mest uppenbara exemplet på missbruk av offentliga medel är Nkandla-skandalen där tjänstemän använde skattebetalarnas pengar för att renovera presidentens privata hem.
Hans strategi verkar vara att spendera mindre för att spara mer.
Ministern sade att hans fokus kommer att vara att minska det offentliga underskottet till 3,2 procent i år och under de kommande tre åren.
Randen försvagades efter att han hade slutat tala vilket tyder på att marknaderna inte är övertygade om att ministern har en återhämtningsplan som kommer att lyfta tillväxten och övertyga kreditvärderingsinstituten innan de fattar ett beslut runt maj eller juni.
Det styrande ANC-partiet står inför kommunala val senare i år och mycket hängde på denna budget för att vända den ekonomiska situationen. Även om landet är rikt på mineraltillgångar har det drabbats hårt av nedgången i de globala råvarupriserna. Sydafrikas jordbrukare har också drabbats av den värsta torkan på mer än ett århundrade.
I december förra året chockade president Jacob Zuma nationen och näringslivet genom att plötsligt ersätta den respekterade finansministern Nhlanhla Nene med en allierad och bakbent David Van Rooyen.
Marknaderna hade en dunkel syn, med utländska investerare som drog in pengar och det fanns klagomål inom hans eget styrande afrikanska nationella kongressparti.
Fyra dagar senare gjorde president Zuma en U-sväng och utnämnde Gordhan på nytt till finansminister under fem år fram till 2014.
Den sydafrikanska ekonomin befinner sig "i kris", säger landets finansminister Pravin Gordhan.