Wales betalade ett högt pris för att inte få sina extra siffror att räknas när Wallabies reducerades till 13 män för sju minuter i andra halvan.
Fly-halv Bernard Foley sparkade alla Australiens poäng, med Dan Bigger två gånger på mål för Wales.
Australien står nu inför Skottland i kvartsfinalen den 18 oktober, med Wales mot Sydafrika dagen innan.
Det var Wales 11:e nederlag i följd mot australierna, en körning tillbaka till 2008.
Wales tränare Warren Gatlands män hade sina chanser men avvisades av några extraordinära försvar, med nummer åtta Taulupe Faletau släppa bollen inches från linjen och George North i centrum hålls upp över linjen av Wallabies back-row Ben McCalman.
I det långa loppet av smala förluster för Australien kommer detta att vara bland de mest frustrerande för Gatland.
Det fanns en brist på lugn i en 10-minuters period runt timme märket, när Australiens slåss 13 höll fast.
Och efter att ha sett av spärrelden, Wallabies så småningom lyfte belägringen och belönades när Foleys femte straff gav sin sida en två poängs kudde med åtta minuter kvar.
Australien uppgav sina avsikter i de inledande sekunderna när de valde att ta en skrumpna från den första straff av spelet djupt i sin egen hälft.
De betalade nästan ett högt pris när Gareth Davies smet iväg längs den smala sidan.
Men Biggars straff i fjärde minuten var allt Wales hade att visa för sin tidiga press.
Två obevekliga försvar misshandlade allt som rörde sig, med sammanbrottet en äkta tävling och Wales framgångsrikt mot Wallabies drivande maul.
Men allteftersom hälften bar på sig och Australiens packning - och i synnerhet scrummage - kom överst, ökade straffbeloppet mot walesiskan med Foleys profit.
Matchen var en långsam brännare men den brast in i livet i början av andra halvan.
Australien drev utspärrningarna med mer gift, men Wales tog kontroll efter att Wallabies hade ådragit sig domaren Craig Jouberts vrede.
Scrum-halva Will Genia hade ett gult kort för att inte gå i pension 10 meter som hans motsatta nummer Gareth Davies tog en snabb straff och Genia följdes in i soptunnan när andra raden Dean Mumm bröt mot vid en lineout.
Australiens försvar, medan det reducerades till 13, var emellertid helt enkelt heroiskt.
Australiens till synes lättare väg till en möjlig slutlig - undvika Sydafrika och Nya Zeeland på väg - är belöning för en modig och skicklig eftertrupp åtgärd.
De kommer att se fram emot sin kamp mot skottarna, medan Wales står inför en revolterande Springbok-sida.
Men naturen av ännu ett nederlag för Australien kommer att lämna en bitter smak i munnen.
Gareth Davies av Wales var en livewire för hela spelet och vann denna accolade. Men detta var en match som vanns av Australiens försvar.
Wales: Gareth Anscombe; Alex Cuthbert, George North, Jamie Roberts, Liam Williams; Dan Biggar, Gareth Davies; Paul James, Scott Baldwin, Samson Lee, Luke Charteris, Alun Wyn Jones, Sam Warburton, Justin Tipuric, Taulupe Faletau.
Ersättningar: Ken Owens för Scott Baldwin (72), Aaron Jarvis för Paul James (72), Tomas Francis för Samson Lee (53), Ross Moriarty för Justin Tipuric (72), Lloyd Williams för Jamie Roberts (79), Rhys Priestland för Dan Biggar (73), James Hook för Liam Williams (73).
Oanvänd: Jake Ball.
Svin: Alex Cuthbert (76)
Australien: Israel Folau; Adam Ashley-Cooper, Tevita Kuridrani, Matt Giteau, Drew Mitchell; Bernard Foley, Will Genia; Scott Sio, Stephen Moore (kapt), Sekope Kepu, Kane Douglas, Dekanus Mumm, Scott Fardy, Sean McMahon, David Pocock.
Ersättningar: Tatafu Polota-Nau för Stephen Moore (66), James Slipper för Scott Sio (62), Greg Holmes för Sekope Kepu (55), Rob Simmons för David Pocock (59), Ben McCalman för Sean McMahon (48), Nick Phipps för Will Genia (67), Matt Toomua för Matt Giteau (66), Kurtley Beale för Drew Mitchell (66).
Sin bin: Will Genia (55), dekanus Mumm (59)
Australien väderade en walesisk storm för att vinna VM Pool A med en 15-6 seger på Twickenham.