Genom att upphäva 2013 års utslag stoppade dock inte domarna programmet, utan uppmanade kongressen att vidta åtgärder.
NSA: s spioneri läcktes av Edward Snowden, en före detta NSA entreprenör som sedan dess har flytt till Ryssland.
NSA har samlat in data om tal som ringts och tider, men inte samtalens innehåll. Det påstås också spionera på europeiska företag.
Bland de utvalda var tyska förbundskansler Angela Merkel.
Tyskland har "drastiskt minskat" internetövervakningen för NSA, enligt rapporter, efter det att den amerikanska byrån misslyckats med att ge "tydlig motivering" för varje sökning.
Kongressledamöter kan "hjälpa till att förstärka domstolens beslut" nästa vecka, berättar American University's Gordon Adams. Det är då House medlemmar förväntas rösta om ett lagförslag, USA Freedom Act, som skulle avsluta NSA: s insamling av bulkdata.
Vissa senatorer vill emellertid att saker och ting förblir desamma. De har drivit på en förlängning av en bestämmelse, Avsnitt 215 i USA Patriot Act som tillåter NSA att samla in data.
Avsnitt 215 löper ut i juni, och en förlängning skulle göra det möjligt för NSA att fortsätta sitt arbete.
Amerikanska spionläckor: Hur underrättelser samlas in
Hur sårbart är internet?
USA-staterna siktar på NSA-anläggningar
Den senaste domen, av 2:a US Circuit Court of Appeals i New York, kom efter att New York District Judge William Pauley hade avfärdat en rättslig utmaning av American Civil Liberty Union (ACLU) som hävdade att det sätt NSA spårat miljoner samtal strider mot den amerikanska konstitutionen.
I den 97-sidiga domen sägs att "en bestämmelse i USA:s patriotlag som tillåter Federal Bureau of Investigation att samla in affärshandlingar som anses vara relevanta för en terroristbekämpningsutredning inte kan tolkas på ett legitimt sätt för att möjliggöra systematisk insamling av nationella samtalsregister".
Appellationsdomstolen avstod dock från att uttala sig om huruvida programmet var konstitutionellt, vilket inleddes efter attackerna mot USA den 11 september 2001.
Snowden-uppenbarelserna i juni 2013 orsakade ett internationellt skrik, trots att de amerikanska myndigheterna insisterade på att programmet hade godkänts fullt ut.
Åtgärderna - som upprepade gånger har godkänts i hemlighet av en nationell säkerhetsdomstol sedan 2006 - löper ut den 1 juni.
Ledare för det lägre amerikanska representanthuset skulle föredra att godkänna ett lagförslag för att avsluta regeringens samling av telefonlistor och ersätta det med lagstiftning som supportrar säger skyddar medborgerliga friheter. Men den republikanska senatens majoritetsledare Mitch McConnell har antytt att han vill förlänga Patriot Act och behålla samlingsprogrammet.
Vita huset stöder "en alternativ mekanism för att bevara programmets väsentliga kapacitet utan att regeringen håller bulk data", sade Ned Price, en talesman för Vita huset nationella säkerhetsrådet.
Men ACLU: s biträdande juridisk direktör Jameel Jaffer sade: "Överklagande domstolens noggranna utslag bör avsluta någon debatt om huruvida NSA: s telefoninspelningsprogram är lagligt."
En amerikansk appellationsdomstol har fastställt att insamling av telefonlistor från National Security Agency är olaglig.