Den 37-årige, den femte högsta testkörningen i historien, fick en hedersvakt av Indiens fältarbetare i det andra testet i Colombo.
Han slog tre fyrar innan han gick mot Ravichandran Ashwin för att ragga och lämnade Sri Lanka 33-2 i jakt på 413.
Sangakkara avslutar sin 134-Test karriär med 12 400 kör i genomsnitt 57.40, med 38 århundraden.
Den vänsterhänte spelade också 404 endagsinternationaler och 56 Twenty20 internationals och dök också upp i engelska county cricket för Warwickshire, Durham och Surrey, som han gick på ett tvåårigt kontrakt i januari.
Efter att ha brutit sig in i Sri Lanka sida i 2000 som en wicketkeeper-batsman, han så småningom avstod wicketkeeping handskar i Test cricket 2008. Han gav MCC Spirit of Cricket Cowdrey Föreläsning på Lord's 2011.
Sri Lanka slutade dag fyra på P Sara Oval 72-2, med kapten Angelo Mathews obesegrad på 23.
England tränare Trevor Bayliss, tidigare tränare i Sri Lanka, på BBC Test Match Special: "Han är en av legenderna i spelet. Han är en av de lokala hjältarna som många människor i Sri Lanka ser upp till, och han har varit en bra förebild. Han har haft så många bra innings över en tidsperiod. Den poise och tid som han fick vid vecket har varit ett av hans kännetecken."
Ex-England fladdermöss Geoffrey Boycott på BBC Test Match Special: "Sangakkara har varit en vacker spelare; en snygg, utmärkt fladdermöss. Nästan alla stora spelare har fotarbete och han har det. Och jag tror inte det finns några tvivel om att han kan fortsätta i två eller tre år. Men man blir mentalt trött."
Sri Lanka fladderman Kumar Sangakkara gjorde 18 i sin sista internationella innings före pensioneringen.