Mediauppspelning stöds inte på den här enheten
I Kontas match mot Sorana Cirstea, sändes Nastase iväg efter att ha svärtat vid domen och misshandlat Konta och hennes kapten Anne Keothavong.
Världen nummer sju förlorade sin serva i nästa match och var synbart upprörd innan spelet stoppades i 25 minuter.
Internationella tennisförbundet undersöker Nastases beteende.
Det styrande organet i världen sade att det undersökte "denna fråga såväl som tidigare kommentarer från Nastase under veckan".
Nastase - en tidigare värld nummer ett - hade orsakat kontroverser i uppbyggnaden av slipsen efter att ha hörts göra en nedsättande kommentar om Serena Williams ofödda barn.
Medan den rumänska spelaren Simona Halep svarade på en fråga på engelska om Williams graviditet på fredag, vände sig 70-åringen till en av sina andra lagmedlemmar och tillade på rumänska: "Låt oss se vilken färg den har. Choklad med mjölk?"
Han satte också armen tätt runt Keothavong och bad om hennes rumsnummer, i öronsprängning av tittande media.
Innan pjäsen ens hade börjat på lördagen förolämpade Nastase en brittisk journalist över deras rapportering av fredagens händelser och kallade Pressföreningens tenniskorrespondent "dum".
Och när han slutligen eskorterades bort från platsen av en grupp säkerhetsvakter, misshandlade han reportern igen och kallade henne "ful".
VARNING: Vissa människor kan tycka att språket nedan är stötande
Händelsen som ledde till att han avfärdades på lördagen hände när Cirstea var 2-1 upp i den andra uppsättningen av World Group II play-off slips i Constanta.
Efter att Konta och Keothavong hade klagat på att ringa ut från publiken vid 1-1, Nastase var involverad i en diskussion med tjänstemän där han använde fult och kränkande språk.
Nastase kallade både Konta och Keothavong "en bitch" flera gånger, samt svor åt dem.
Han skickades iväg av domaren Andreas Egli och eskorterades sedan tillbaka till omklädningsrummet efter att ha suttit i läktaren.
Konta gick 3-1 ner efter att hennes servering bröts i nästa match och var i tårar innan umpire suspenderade spelet.
Rumänien spelare Halep talade med publiken under avstängningen för att försöka lugna situationen.
När spelet återupptogs i en dämpad atmosfär, Konta vann fem matcher i rad för att vinna matchen 6-2 6-3, jämnar slipsen på 1-1.
ITF förklarade Nastase ombads lämna "för osportsligt beteende, efter att redan ha fått två officiella varningar".
Ett uttalande tillade: " Nastase togs också bort från grunderna på grund av sitt allvarliga felsteg. Hans ackreditering togs bort och han kommer inte att spela någon ytterligare roll i slipsen."
Mediauppspelning stöds inte på den här enheten
"Det var inte något någon borde uppleva," Konta berättade BBC Sport.
"Det gjorde mig ganska upprörd och det visades. Jag är inte den som gråter i rätten. Det var lite pinsamt men det påverkade mig mer än jag hade velat.
"Jag vet att Fed Cups kan vara ganska känslosam och kan ibland ta en oväntad vändning men det var inte något jag var förberedd på.
"Tydligen gjorde det mig lite nervös men det bästa jag kunde göra var att göra det så mycket om tennisen som möjligt. Jag kände att jag gjorde det och ser fram emot det igen i morgon."
Keothavong sade att hon hade "förväntat sig en patriotisk publik", men förväntade sig inte att "missbruksspråk skulle användas".
"Det är oacceptabelt. Ingen förtjänar att bli tilltalad på det sättet, sa hon till BBC Sport.
"Vi har kommit hit för att spela tennis. Domaren gjorde rätt beslut att avbryta matchen, och under pausen försökte jag bara hålla Johanna lugn.
"Alla spelare - från båda lagen - hanterade situationen otroligt bra. Det har hänt, det är gjort och det finns mycket att spela för imorgon."
Lawn Tennis Association sade att det var "djupt chockad" av lördagens händelser.
"Det finns ingen plats i idrotten för den typen av beteende, det är inte acceptabelt och integriteten i sporten måste alltid vara av största vikt," det sades i ett uttalande.
"Vi kommer att lämna in ett officiellt klagomål till ITF efter denna slips och förvänta oss en fullständig utredning av den rumänska kaptenens handlingar."
Cirstea hävdade dock att Konta hade "överreagerat".
"Någon som gråter kan inte stoppa en match", sa hon till BBC Sport.
– Ur tennissynpunkt förtjänade Johanna segern - hon är en bättre spelare än jag - men det brittiska lagets beteende var överdrivet.
"Varför slutade vi? Bara för att Johanna grät? Jag har aldrig gråtit i rätten för att någon har sagt något till mig. Du måste skärpa dig.
"Okej, vid 2-1 du ta vår kapten ut, det var rätt beslut, men sedan vid 3-1 jag bryta dig och nu gråter du. Jag säger inte att det var falskt, men det var inte logiskt.
"Nästa gång jag har problem kommer jag att gråta, kanske jag kan gå av rätten. Som rumäner blir vi dubbelt förolämpade på grund av vår nation, men det är okej, vi är tuffa. Tuffare än det brittiska folket tydligen."
Mediauppspelning stöds inte på den här enheten
Innan pjäsen började på lördagen gick Nastase in i mediecentret för att söka upp brittiska journalister över deras rapportering av de kommentarer han gjorde om Williams på fredagens nyhetskonferens.
Pressföreningen Sport rapporterade att deras tenniskorrespondent Eleanor Crooks var den enda medlemmen i de brittiska medierna som då var närvarande i rummet och att han sade till henne: " Varför skrev du det? Du är dum, du är dum."
PA Sport har skickat uppgifter om Nastases kommentarer till International Tennis Federation.
"Han kallade mig upprepade gånger dum, frågade mig varför vad han sa var rasistiskt", sade Crooks.
"Jag förklarade att vi helt enkelt rapporterade vad han sa och att det var onödigt att göra en sådan kommentar om färg. Han sa att engelsmännen var ute efter honom och kallade mig dum ett par gånger till.
"Tyvärr var han tvärs över andra sidan rummet från mig och det fanns andra journalister runt så det var obehagligt snarare än hotande.
"Men det är verkligen inte det beteende du skulle förvänta dig av någon i hans ställning och helt onödigt, särskilt med tanke på att han inte ifrågasatte riktigheten av vad som rapporterades."
Och när Nastase eskorterades från platsen på lördagen konfronterade han Crooks igen och kallade henne "ful" när han leddes bort av vakterna.
Detta innehåll fungerar inte på din enhet, kontrollera Javascript och cookies är aktiverade eller uppdatera din webbläsare
Rumänska Tennisförbundets president George Cosac försvarade Nastase.
När han tillfrågades om kommentarerna om Williams och Keothavong på fredag, sade han till BBC Sport: "Det är Nastase. Han skämtade hela tiden. Det är därför alla gillar honom.
"Han gjorde inga misstag. Det var inte rasistiskt, man kan inte ta det på allvar. Jag är säker på att det bara var ett skämt," Cosac tillade.
"Vad jag vet är att han är en mycket god vän med Yannick Noah och han spelade många turneringar tillsammans med Arthur Ashe [Noah och Ashe är de enda svarta män att vinna Grand Slam singlar titlar] - Jag är säker på att han inte säga något fel."
Tidigare på lördagen tog Rumänien ledningen när Halep vann 26 av de senaste 33 poäng på väg att bekvämt slå Heather Watson 6-4 6-1.
World nummer fem Halep ökade sin intensitet vid 4-4 och bröt Watson till kärlek innan du tjänade ut för att ta öppningen för värdarna.
Watson, som var 113 år gammal, kämpade för att klara av sin rival, när hon förlorade sin kärlek två gånger i det andra setet.
Russell Fuller, BBC tennis korrespondent
Detta var en mycket dekorerad spelare, men en allt mer isolerad man, förlora sin cool i en spektakulär skala.
Nastase verkar inte ha någon uppfattning om varför jag, och mina tre brittiska kolleger här i Constanta, kände att hans sludder och handlingar från fredag behövde belysas.
Efter att ha riktat en av journalisterna på morgonen, vände han sin ire på sitt motsatta nummer och hennes stjärna spelare när slaget förenades på banan.
ITF:s president Dave Haggerty säger att Nastases uppförande är "oacceptabelt". De har gjort mer än ett strängt uttalande i helgen, men kommer att dömas efter sina handlingar, snarare än sina ord.
Om ITF inte agerar kommer inte heller den rumänska federationen att göra det. Deras president förstår inte varför vi inte uppskattar Nastases humor.
Varför kan vi inte se att hans kapten har mer än rätt att göra nedsättande kommentarer om Serena Williams - eftersom många av hans bästa vänner är svarta?
Rumänien kapten Ilie Nastase förbjöds från Fed Cup slips mot Storbritannien efter en incident som lämnade Johanna Konta i tårar och hennes match avstängd.