Poliser och veterinärer hade jagat djuret runt banan nära Toki stad i centrala Gifu prefekturen i timmar.
Den sprang in i sjön strax efter att den sköts med en lugnande pil.
Djuret dog trots att det drogs ut inom några minuter. Officerare sade att den troligen hade drunknat och att dess hjärta hade stannat.
Den tvåårige hanen Zebra ägdes av ett mobilt zoo, rapporterade tidningen Mainichi Shimbun, men höll på att huseras på Mikuni West Farm, en lokal stall- och ridklubb.
På tisdag kväll, gårdschefer tog in zebra för natten när det blev upprörd, trampade paddock staketet, och flydde, fly mot ett närliggande berg.
Tidigt på onsdagsmorgonen fick polisen rapporter om en zebra som sprang längs en motorväg.
De spårade snabbt den till Toki International Golf Course, där veterinärer och polisen försökte fånga den.
Den sprang in i en sjö strax efter att ha blivit dartad.
"Vi drog ut den, men dess hjärta hade stannat", sade polis talesman Takahiro Taniguchi, säger att det sannolikt hade drunknat.
Den ovanliga historien blev snabbt en talande punkt bland japanska nätanvändare som uttryckte chock och sorg på onsdag, med det japanska ordet för zebra "shimauma" trend på Twitter.
Många retweeted ett foto av en flicka som sade att hon hade sett djuret galopperar nerför en väg på tisdag kväll och uttryckte överraskning på att upptäcka "en zebra i skogen".
En zebra som rymde från en ridklubb i Japan har dött i en golfbanasjö efter att den lugnats.