Mer än 1.400 verk hittades i hans München lägenhet, inklusive bitar av Picasso och Matisse.
Många var rädda för att förloras eller förstöras innan skatteutredarna avslöjade hans ovärderliga insamling 2012.
Cornelius Gurlitt var son till Adolf Hitlers konsthandlare.
Hildebrand Gurlitt beordrades att handla med verk som hade beslagtagits från judar, eller som nazisterna ansåg vara "degenererade" och hade avlägsnat från tyska museer.
Gurlitt, vars död följde på ohälsa efter hjärtkirurgi, berättade för tidningen Der Spiegel i november förra året att han aldrig villigt skulle ge upp målningarna.
"Jag har inte älskat något mer än mina bilder i mitt liv", sade han.
Men han ändrade sin ståndpunkt, gick med på att samarbeta med de tyska myndigheterna för att fastställa målningarnas härkomst, och återlämna dem om de visades bli stulna.
Den tyske kulturministern Monika Gruetters berömde honom för detta och sade: "Han kommer med rätta att erkännas och respekteras för att han tog detta steg."
Gurlitt dog "i sin lägenhet i Schwabing, i närvaro av en läkare", talesman Stephan Holzinger sade i ett uttalande.
Gurlitt levde inte ett extravagant liv utan skulle sälja en målning först när han behövde pengar.
Från Stephen EvansBBC Berlin korrespondent
Den stora frågan efter Cornelius Gurlitts död är vad som händer med målningarna han hade i hemlighet. Många av verken skulle välkomnas med öppna armar av kuratorerna på någon av världens främsta gallerier.
Genom sina advokater hade han kommit överens om att alla arbeten som nazisterna visade sig ha plundrat skulle återlämnas till deras rättmätiga ägare i vår tid, men detta kan mycket väl bara vara en liten del av det totala antalet, kanske 50 verk helt och hållet av omkring 1.400.
Resten kommer nu att bli föremål för en massa rättstvister. Mr Gurlitt gifte sig aldrig och hade ingen känd familj. En fråga kan vara om det finns avlägsna släktingar, som nu skulle satsa på ett anspråk. Många människor, i synnerhet judiska grupper, kan tycka att en rättvis lösning skulle vara att verken visades i ett galleri. Advokater kanske har något att säga om det. Vad som är rättvist, och vad som är juridiskt tillämpligt, kan vara två olika saker.
Hans insamling kom bara fram efter en rutinkontroll fann att han bar på vadar med kontanter på ett tåg från Schweiz, vilket utlöste en skatteutredning.
Undersökare hittade mer än 1.400 verk i sin lägenhet i München i februari 2012 - även om de bara avslöjade upptäckten i slutet av 2013 - och ytterligare 60 i hans hus nära Salzburg, Österrike, tidigare i år.
Bland dem fanns verk av Pierre-Auguste Renoir, Marc Chagall, Emil Nolde och Max Liebermann.
Samlingen beräknas vara värd upp till en miljard euro (850 miljoner pund; 1,35 miljarder dollar).
Enligt tysk lag var Cornelius Gurlitt inte tvungen att återlämna några målningar till sina ägare, eftersom han skyddades av en preskriptionstid, vilket negerar alla anspråk på incidenter som inträffade för mer än 30 år sedan.
Även om det visade sig att verken plundrades av nazisterna, kunde Gurlitt ha behållit dem, säger BBC:s konstredaktör Will Gompertz.
Men hans död kommer helt visst att få konsekvenser för fallet.
Gurlitts hemlighetsfulla natur betyder att han inte känner till mycket om sitt privatliv eller eventuella arvingar.
Och de bayerska myndigheternas långsamma, byråkratiska svar på upptäckten hittills tyder på att en snabb lösning av utestående fordringar är osannolik, tillägger vår redaktör.
Tysk konstsamlare Cornelius Gurlitt har dött 81 år gammal, utan något definitivt svar på vad som kommer att hända med hans hemliga samling, som inkluderade många nazist-loohed bitar.