I ett tal sade han, med tanke på effekterna av folkomröstningen, att regeringen måste vara "realistisk för att uppnå ett överskott i slutet av årtiondet".
Målet hade varit kanslerns mest uppskattade mål och hade drivit åtstramningsåtgärder i tidigare budgetar.
Men han sade att ekonomin visar "tydliga tecken" på chock efter omröstningen om att lämna Europeiska unionen.
Osborne höll ett tal i Manchester och sade: " Folkomröstningen förväntas leda till en betydande negativ ekonomisk chock för vår ekonomi. Hur vi reagerar kommer att avgöra effekterna på sysselsättning och tillväxt.
"Vi måste skapa trovärdighet för de offentliga finanserna och fortsätta att vara hårda mot underskottet samtidigt som vi är realistiska när det gäller att uppnå ett överskott i slutet av årtiondet."
Labours skuggkansler John McDonnell välkomnade flytten och sade: "Rösten förra torsdagen för Brexit har bara fört fram det som var oundvikligt.
"Kanslern hade redan i mars tappat sina andra skatteregler om välfärd och skuld i budgeten, och enligt många ekonomer förväntades han bli tvungen att släppa även detta."
BBC:s affärsredaktör Kamal Ahmed säger att målet var på väg mot "Treasury strimling maskin" efter ett tal från Home Secretary Theresa maj igår.
I ett tal som inledde hennes försök att bli premiärminister sade hon: "Vi bör inte längre sträva efter att uppnå ett budgetöverskott i slutet av parlamentet".
Kamal säger att mr Osborne nu har följt efter.
Trots detta insisterar statskassan på att den fortfarande vill balansera böckerna och "fixa finanserna".
Osborne åtog sig först att återföra de nationella finanserna till överskott 2020 vid konferensen i det konservativa partiet 2013 och det blev politik i julibudgeten 2015.
Men sedan dess har det funnits frågor om huruvida detta mål kan uppnås.
Redan före folkomröstningen hade han bara "en något bättre än 50/50 chans" att göra målet sade Carl Emmerson, vice direktör för Institutet för finanspolitiska studier.
Men den osäkerhet som ledde till omröstningen om ledigheten kunde hålla tillbaka ekonomin och göra det ännu svårare att skapa ett överskott.
"Efter att ha röstat på Brexit förra veckan, kommer ekonomin helt klart att gå in i en nedgång, det kan vara en fullblåst recession, som bara kan vara mycket låg tillväxt," sade Paul Johnson chefen för IFS.
Det är ibland lätt i dessa otroliga politiska tider att glömma att för de flesta människor "det är ekonomin, dum" fortfarande är sant.
För den brittiska ekonomin var en av de viktigaste avsnitten i Theresa Mays tal igår när hon signalerade att George Osbornes "finansiella regel" (att producera ett budgetöverskott till 2020) var för finansdepartementets fragmenteringsmaskin.
"Även om det är absolut nödvändigt att regeringen fortsätter med sin avsikt att minska de offentliga utgifterna och minska budgetunderskottet, bör vi inte längre försöka nå ett budgetöverskott i slutet av parlamentet", sade May.
Nu har kanslern sagt att han håller med om att regeringen måste vara "realistisk" om sina finanspolitiska mål och att åtstramningspolitiken kan lindras.
Mina finans- källor påpekar att "regeln" kan varieras i "icke-normala" tider.
Och det är ganska "icke-normala" tider.
Övergivandet av det finanspolitiska målet tyder på att regeringen skulle kunna låna mer, förmodligen för investeringar i infrastruktur och för att minska behovet av skattehöjningar och utgiftssänkningar, om ekonomin tar en vändning till det sämre som vissa förutspår.
Mer från Kamal: Brexit och lättnader i åtstramningar
Tories har varit i kaos sedan David Cameron tillkännagav sin avsikt att avgå efter Storbritanniens röst för att lämna Europeiska unionen.
I en chockutveckling på torsdag meddelade Boris Johnson, som allmänt sett var föregångaren till premiärministern, att han inte skulle vara i drift.
BBC har fått veta att justitieminister Michael Gove nu utsätts för allt större påtryckningar att överge sitt försök att bli Tory ledare.
Källor har sagt till BBC: s ministrar försöker övertala justitiesekreteraren att ge vika så att partiet kan "enhet" runt Home Secretary Theresa May.
Mr Gove valde att ställa sig upp efter att ha bytt sitt stöd från Boris Johnson.
I ett anförande sade Gove att hans beslut att stå upp för att bli konservativ ledare drivs av "övertygelse" om vad som är rätt för Storbritannien och inte av personliga ambitioner.
Tre andra kandidater har lagt fram sina namn för det konservativa ledarskapet: energiminister Andrea Leadsom, parlamentsledamot Liam Fox och arbets- och pensionsminister Stephen Crabb.
Regeringen lånade 74,9 miljarder pund under räkenskapsåret 2015/2016 och för räkenskapsåret hittills - som täcker april och maj - upplåningen uppgick till 17,9 miljarder pund, 0,2 miljarder pund högre än samma period för ett år sedan.
Man tror att regeringen nu kommer att öka upplåningen, så att den kan undvika ytterligare nedskärningar i utgifterna eller höja skatterna. Den skulle också kunna låna för att investera i stora byggprojekt.
"Problemet är förstås att man inte kan låna för evigt", sade Paul Johnson från IFS.
"Så vi kommer att ha några fler år av mer upplåning, men min gissning är att detta är inte slutet på åtstramningar, faktiskt innebär detta åtstramningar kommer bara att fortsätta längre eftersom vi förmodligen kommer att ha nedskärningarna och skattehöjningar rakt igenom 2020 för att betala för detta."
Kansler George Osborne har övergett sitt mål att återställa de offentliga finanserna till ett överskott till 2020.