Den 37-årige midfielder meddelade sitt beslut efter att ha spelat hela matchen som Grekland förlorade på straff i den senaste 16 slipsen mot Costa Rica.
"Detta var min sista match för Grekland", sade Karagounis.
Mediauppspelning stöds inte på den här enheten
"Vi ville stanna i Brasilien en vecka till eller ännu längre men du kan inte ändra på det nu."
Karagounis gjorde sin internationella debut 1999 och samlade en rekord 139 mössor för sitt land, poäng 10 mål i processen.
Han hjälpte Grekland att vinna Euro 2004 och deras framsteg i Brasilien innebar att de nådde den andra omgången av VM för första gången i sin historia.
Karagounis, som släpptes av Fulham i slutet av förra säsongen, sade att han gjorde plats för Greklands nästa generation av spelare.
"Det nationella laget har vuxit upp, yngre spelare har vunnit ovärderliga erfarenheter," tillade han.
"Detta är ingen liten sak och eftersom vi hjälpte laget att komma i åldern hoppas vi att det kommer att fortsätta att vara lika framgångsrikt i framtiden."
Grekland tränare Fernando Santos kommer också att lämna sin post efter hans kontrakt gick ut på måndag.
Santos skickades till läktarna innan straffskjutningen ägde rum mot Costa Rica och var tvungen att titta på TV när hans sida gjorde sin avfart från VM.
För bästa av BBC Sports djupgående innehåll och analys, gå till våra funktioner och videosida.
Grekland kapten Giorgos Karagounis har dragit sig tillbaka från internationell fotboll efter sitt lands eliminering från 2014 Fifa VM.