Jaga 268 i det första testet, Australien var alla ute för 161, deras innings avsluta med en rekord 154 på varandra följande leveranser utan en körning.
Australien - världens topprankade testsida - hade en förstainningsledning på 86.
Men Kusal Mendis fantastiska 176 - hans första test sekel - och 5-54 från Rangana Herath visade sig avgörande.
Australien kapten Steve Smith gjorde en grusig 55 innan svans-anbud Steve O'Keefe och Peter Nevill gjorde motstånd för 178 bollar, poäng fyra.
Det andra testet av trematchsserien äger rum i Galle, med start torsdagen den 4 augusti.
O'Keefe och Nevills nionde veklingsstånd kom på bara 0.13 kör en over, innan debutant Dhananjaya de Silva hade Nevill fångas bakom. Tidigare rekord för ett partnerskap på 100 bollar eller mer var 0,64 av Sydafrikas Hashim Amla och AB de Villiers mot Indien i december förra året.
Australien överlevde bara 15 ytterligare leveranser innan Herath hävdade sin nionde wicket av matchen för att säkra Sri Lankas första seger över Baggy Greens sedan 1999, och andra i 27 försök.
Sri Lanka slog Australien med 106 körningar i Pallekele för att bara göra anspråk på sin andra Test seger över turisterna, som satte en Test match rekord i nederlag.