Man räknar med att styrelserna kommer att lägga ner mer än 46 miljoner pund i år.
I ett fall - Abertawe Bro Morgannwg University Health Board (ABMU) - sägs de finansiella utsikterna vara "extremt utmanande".
Hälsonämnden, som täcker Swansea och Bridgend, sa att den försökte sänka personalkostnaderna.
Förutom ABMU finns överutnyttjanden på Betsi Cadwaladr i norra Wales, Cardiff och Vale styrelse och Hywel Dda i mitten och västra Wales.
Betsi Cadwaladrs underskott beräknas nu bli £30m, Hywel Dda £49.9m, ABMU £35m och Cardiff och Vale £31m för räkenskapsåret 2016-17.
Hälso- och sjukvårdsnämnderna kommer inte att få en räkning för att betala tillbaka pengarna, men de kommer att förväntas balansera sina böcker under nästa räkenskapsår.
Förra året hade Betsi Cadwaladr och Hywel Dda ett sammanlagt underskott på 50 miljoner pund medan både Cardiff och Vale och ABMU gick jämnt upp.
Betsi Cadwaladr har varit under direkt kontroll av den walesiska regeringen sedan juni 2015.
De övriga tre styrelserna granskades mer och mer av ministrarna i september förra året på grund av tvivel om deras förmåga att hantera de ekonomiska utmaningar som de står inför.
Hälsominister Vaughan Gething berättade BBC Radio's Good Morning Wales program han var "pretty vissa" tjänster skulle inte skäras "enkelt på grund av pengar".
"Vi kommer att ändra tjänster, men det är för att vi bör ändra några av våra tjänster, eftersom de för närvarande inte levererar rätt värde och bästa kvalitet," tillade han.
Han sade att hälso- och sjukvården hade ett ansvar att tillhandahålla "hög kvalitet vård" och samtidigt "att göra mer för att leva inom sina tillgångar".
En taleskvinna från den walesiska regeringen sade: "Situationen i dessa fyra hälsonämnder är oacceptabel, och vi har klargjort att vi förväntar oss att de vidtar åtgärder för att avsevärt förbättra sin ekonomiska ställning."
Hon sade att ministrarna inte kommer att godkänna finansieringsplaner "som inte leder till sådana förbättringar".
"Individuella organisationer som överskrider sina tilldelade resurser, har inte - och kommer inte - räddas", sade hon, och tillade att regeringen "arbetar tillsammans med alla organisationer för att förbättra sina respektive ståndpunkter" och att "den övergripande hälsobudgeten kommer att balanseras för budgetåret 2016-17".
ABMU har gått från en break-equ position till ett prognostiserat underskott på 39 miljoner pund i år, och ytterligare ett prognostiserat underskott på 53 miljoner pund nästa år.
Hälsostyrelsen har genomsnittliga löpande kostnader på £ 3m per dag, så ett £ 39m underskott motsvarar kostnaden för att köra styrelsen för 13 dagar.
Det sades att det var inriktat på en intensiv rekryteringskampanj för att minska kostnaderna för bemanningsföretag personal, samt minska avfall i receptbelagda läkemedel.
En taleskvinna sade: "Det finns många utmaningar som vi står inför när vi försöker identifiera besparingar som inte äventyrar patientsäkerheten och vårdkvaliteten, samtidigt som efterfrågan på våra tjänster ökar."
En talesman för Betsi Cadwaladr University Health Board sade: "Vi har arbetat hårt under hela året, och har haft ett nära samarbete med den walesiska regeringen, för att ta itu med våra utmaningar, och vi kommer att fortsätta att göra det framöver."
Stephen Foster, från Hywel Dda University Health Board, sade: "Detta är inte den ekonomiska situation som vi skulle vilja befinna oss i och vi sätter samman betydande planer för att vända på det."
Analys av BBC Wales politiska redaktör Nick Servini
Dessa siffror visar en dramatisk försämring av ekonomin för fyra av Wales sju hälsonämnder.
De har också lett till ett hårt svar från den walesiska regeringen, som fram till denna punkt har varit angelägen om att betona hur de tillsammans närmar sig problemen.
Tonen påminner om den man som ansvarar för den engelska NHS, Jeremy Hunt, som inte har varit rädd för att kalla på hedar som han tror är underpresterande.
Den walesiska regeringen har krävt en betydande förbättring av det ekonomiska resultatet.
Det kommer att vara lättare sagt än gjort mot bakgrund av de intensiva påtryckningarna på dessa organisationer.
Mer från Nick
Fyra hälso- och sjukvårdsnämnder som kommer att få se sina totala budgetunderskott tredubblas kommer inte att räddas, har den walesiska regeringen sagt.