Pengarna betalas av frånvarande föräldrar som har remitterats till Barnjouren.
Räkenskaper som utarbetats för parlamentet av avdelningen för arbete och pensioner (DWP) klass 2,9 miljarder pund av de 3,9 miljarder pund i underhållsskulder som "oindrivbara".
Ministrarna sade att fokus låg på skulder för barn som fortfarande tas upp, men gamla skulder skulle inte vara "glömda".
Barnjouren inrättades för 21 år sedan i syfte att se till att en förälder inte bara kan lämna ett ex för att betala kostnaderna för att uppfostra sina barn om ett förhållande skulle brytas.
CSA:s uppgift var att beräkna underhåll - och se till att föräldrar som inte är bosatta i landet betalade.
Men det har varit ihärdigt med problem. Datorsystem fungerade inte som de skulle. Misstag gjordes med bedömningar och frånvarande föräldrar spårades inte upp.
Under 2012 infördes ett nytt system för underhåll av barn i ett försök att dra en gräns under CSA:s svårigheter.
Barnvårdstjänsten, som det nya systemet kallas, anser inte att de historiska skulderna i CSA:s räkenskaper bör prioriteras.
Omkring 1,3 miljoner ensamstående föräldrar är skyldiga pengar som CSA beslutade att de hade rätt till - och vissa har väntat i åratal.
En ensamstående förälder, Marianne Miles från London, sade att hon verkligen behövde pengarna som CSA beordrade sin före detta partner att betala till sin son.
Men efter nästan sju års väntan på betalning har hon nästan gett upp.
"Jag är inte hoppfull om att se någon av dessa pengar för att vara helt ärlig", sade hon.
"De [CSA] har inte gjort mycket för att få något - även £ 30 i veckan - så jag har praktiskt taget skrivit av allt."
År 2008 blev Marianne Miles, från London, friställd från sitt arbete som publicist. Att ensam uppfostra sin tonårige son blev en svår ekonomisk kamp.
Hon vände sig till CSA, som beordrade sin ex-partner att bidra. Än i dag har hon fortfarande inte fått de pengar som hon är skyldig, och som har byggts upp till totalt 12.000 pund.
"Jag försöker att inte bli arg på det, men det är inte rättvist", sade hon. "Om han var skyldig statsrådet skattepengar, eller för en parkering biljett, de skulle jaga det och se till att det betalades. Men när det betalar underhåll till ditt eget barn, anses det inte som viktigt."
Hennes son är nu 20 och har lämnat hemmet, men Marianne är fortfarande ekonomiskt ansvarig för honom.
"Bara för att han inte hade det tidigare betyder inte att han inte behöver det nu", sade hon. "Det skulle göra stor skillnad.
"Han är student så det kan gå till hans böcker och hans mat, att jag måste stödja, och han lär sig att köra. Jag är den enda som kan hjälpa honom."
Janet Allbeson, från välgörenhetsorganisationen Gingerbread, anser att regeringen borde ta tillbaka obetalt underhåll, även i fall som har pågått i åratal.
Hon sade: " Om de lyckas få tag i pengarna, även om det är flera år för sent, kan det verkligen göra skillnad för ett barns liv.
"Det gör det till exempel möjligt att hjälpa till med kostnaden för att gå på college, kanske betala av ett studentlån, eller hjälpa ett barn att lära sig köra bil.
"Barn blir på sätt och vis dyrare när de blir äldre och pengarna kan göra en verklig skillnad för ett barns framtid."
Regeringen sa att det var prioriterade fall där ett barn fortfarande uppfostrades.
Steve Webb, minister med ansvar för underhåll av barn, sade: " Det står helt klart att just därför att man har varit skyldig pengar under en lång tid, betyder det inte att man skall glömma dem. Det borde betalas.
"Allt kan naturligtvis inte vara en prioritet. Vi har varit ganska öppna... och vi har klargjort att där det fortfarande finns ett barn i skolan eller uppfostran - det är den första prioriteringen.
"Men vi skriver inte av eller ignorerar gamla skulder."
Siffrorna i DWP:s räkenskaper som publicerades i december väcker dock frågor om hur mycket av eftersläpningarna som sannolikt kommer att återvinnas.
De 2,9 miljarder pund som anges som "oindrivbara" avser fall där ingen betalning har erhållits från den frånvarande föräldern under de senaste sex månaderna, eller om inga förfallna skulder har införts.
DWP sade att definitionen av "oindrivbar" i räkenskaperna inte gav en sann bild av skuldnivån som ligger utanför dess verkställande befogenheter - och i själva verket bara £ 244m var permanent "oindrivbar".
Denna rapport kommer att sändas söndagen den 25 januari 2015 kl 11:00 GMT på BBC Radio 5 live.
Du kan lyssna på andra utgåvor av 5 live undersökningar på BBC iPlayer.
Du kan kontakta 5 levande utredare genom att maila goldberg@bbc.co.uk eller kommentera denna berättelse till @BBC5Live på Twitter.
Miljarder pund i underhåll av barn kanske aldrig kan återvinnas, visar det sig i de offentliga räkenskaperna.