I en efterlängtad rapport anklagade FN:s kontor för mänskliga rättigheter båda sidor för illdåd, särskilt under krigets slutskede 2009.
Som svar lovade Sri Lanka en lokal utredning men kommer inte att tillåta den föreslagna domstolen, som skulle ha utländska domare.
En FN-uppskattning är att 40.000 tamiler dog i den sista arméoffensiven.
I regeringens reaktion på rapporten verkar det finnas ett stort skifte. Kabinetts talesman Rajitha Senaratne berättade för BBC att f.d. president Rajapaksa och hans familj inte nödvändigtvis skulle skyddas om det fanns anklagelser om allvarliga brott mot dem.
"Där även presidenten eller andra befälhavare eller försvarssekreterare - vem som än är inblandad - är vår regering redo att vidta åtgärder."
Men annars håller Colombo fast vid sin linje att en Sri Lankansk process, utan något mer internationellt än råd, kommer att räcka. Han sade att en rad inhemska kommissioner, inklusive en sanningskommission i Sydafrika, kommer att inrättas "för att rentvå landets namn".
Detta är inte förenligt med FN:s hårda betänkande.  Dess huvudinriktning är att en hybrid - delvis internationell, delvis srilankisk - tribunal behövs, eftersom "år av förnekanden och mörkläggningar" betyder att Sri Lankas system "ännu inte är redo att hantera dessa typer av brott".
Tidigare i veckan presenterade Sri Lankas nya regering planer på att inrätta en sannings- och försoningskommission för att undersöka anklagelser om krigsförbrytelser, däribland anklagelser mot militären.
President Mahinda Rajapaksas tidigare regering hade motstått internationella påtryckningar för att undersöka frågan.
FN:s kommissionsledamot med ansvar för mänskliga rättigheter Zeid Ra'ad Al Hussein, som redogjorde för rapporten i Genève, sade att endast en särskild domstol med internationella domare och utredare skulle vara upp till den enorma uppgiften att undersöka de påstådda brotten under en nioårsperiod fram till 2011.
"Vår utredning har avslöjat den fasansfulla nivån av kränkningar och övergrepp som inträffade i Sri Lanka, inklusive urskillningslös beskjutning, utomrättsliga mord, påtvingade försvinnanden, harvande konton över tortyr och sexuellt våld, rekrytering av barn och andra allvarliga brott", sade han.
Han uppmanade också Sri Lankas regering att avlägsna någon från ämbetet om det fanns trovärdiga skäl att tro att de hade begått brott mot de mänskliga rättigheterna.
Rapportens viktigaste resultat är bland annat följande:
Enligt rapporten skulle tvångsrekrytering av rebellerna, om det bevisas i domstol, vara ett krigsbrott. Förnekandet av humanitärt bistånd - som man sade att regeringen skulle kunna göra sig skyldig till - skulle också kunna utgöra ett krigsbrott.
Den äldre Sri Lankas minister Rajitha Senaratne sade till BBC: "Vår ståndpunkt om krigsförbrytelser är att vi behöver en internationellt accepterad lokal utredning. Vi är inte redo att hålla med om de internationella utredningarna."
Trots sina löften om ansvarsskyldighet skulle den regering som valdes förra månaden vara ovillig att hålla krigsförbrytelser rättegångar, säger korrespondenterna.
BBC: s Azzam Ameen i Colombo säger de flesta bland majoritetsingalesiska samhället motsatte åtal trupper.
Några tamilska politiker i norr stöder en FN-ledd utredning och säger att de inte har något förtroende för en inhemsk process.
Under krigets sista månader var hundratusentals tamilska civila fångade i de tamilska tigrarnas (LTTE) territorium i nordost.
Medan regeringsstyrkor anklagades för urskillningslös beskjutning som ledde till massiva förluster, påstods de tamilska tigerrebellerna ha använt civila som mänskliga sköldar och skjutit människor som försökte fly.
Påståenden kvarstår än i dag att armén dödade rebellledare och andra efter att de kapitulerat eller tillfångatagits - och FN erkände 2012 att det kunde och borde ha gjort mer för att skydda civila.
Förutom de tusentals tamiler som dog i de sista striderna nära Mullaitivu saknas fortfarande många andra.
FN:s kontor för mänskliga rättigheter sköt upp det planerade offentliggörandet av rapporten i mars, efter det att Rajapaksa förlorade presidentvalet till parti rivalen Maithripala Sirisena i januari.
Sirisena, som tjänstgjorde som minister i regeringen under krigets slutskede, hade lovat att samarbeta med FN.
Rajapaksas regering höll sitt eget uppdrag i det som hände under krigets sista år, men kritikerna sade att det saknade trovärdighet.
Det 26-åriga kriget gjorde att minst 100.000 människor dog. Det finns fortfarande inga bekräftade siffror för tiotusentals civila dödsfall under de senaste månaderna av strid.
Kanal 4 och FN har dokumenterat många illdåd som begåtts under kriget.
En undersökning visade att det var möjligt att upp till 40 000 människor hade dödats enbart under de sista fem månaderna. Andra menar att antalet dödsfall kan vara ännu högre.
Förenta nationerna har krävt en särskild domstol för att pröva krigsförbrytelser som begåtts under Sri Lankas armés långa konflikt med tamilska tigerrebeller.