Australien hade en första-innings ledning på 155 körningar efter bowling sina värdar ute för 105 i Pune.
Turisterna gjorde 285 i den andra innings, sätta Indien ett rekord mål på 441 för att vinna.
Men Indien var alla ute för 107 som de förlorade inom tre dagar, med vänster-arm spinner Steve O'Keefe tar 6-35.
På en svängande tonhöjd, O'Keefe tog också 6-35 i de första innings, medan kollega spinner Nathan Lyon fångade fem wickets totalt - med siffror på 4-53 i den andra innings - som Australiens spin duo överträffade sina indiska motsvarigheter.
Besökande kapten Steve Smith spelade också en viktig roll i segern som han gjorde 109 i den andra innings, hans jungfru Test century i Indien.
Vinsten var Australiens första i Indien sedan 2004.
"Jag är verkligen stolt över hur pojkar har uppträtt", säger Smith. "O'Keefe var enastående i matchen."
Indien kapten Virat Kohli var kritisk mot sitt team, beskriver det som deras "sämsta battting display på två år".
"Vi blev utspelade i den här matchen. Vi måste ta det på hakan", tillade han.
"Vi tog dem aldrig för givna men vi var aldrig bra nog under de tre dagarna."
Indien, det topprankade Test laget, har inte förlorat en hemtestserie sedan 2012 och den andra matchen startar i Bangalore lördagen den 4 mars.
Indiens 19-Test obesegrad kör avslutades med eftertryck när Australien slog dem med 333 körningar i den första av en fyra-match serie.