Överraskningen, som tillkännagavs på tisdag kväll, är en del av ett ingripande mot korruption och olagliga penninginnehav.
Bankerna kommer att stängas på onsdag och bankomater kommer inte att fungera.
Indien är till övervägande del en kontantekonomi. Nya sedlar i valörerna 500 och 2 000 rupier kommer att utfärdas för att ersätta sedlar som tagits bort från cirkulationen.
"Svarta pengar och korruption är de största hindren för att utrota fattigdom," Mr Modi sade.
Människor kommer att kunna växla sina gamla sedlar mot nya på banker under de kommande 50 dagarna, men de kommer inte längre att vara lagliga betalningsmedel.
Tillkännagivandet fick människor över hela landet att rusa till bankomater som erbjuder 100 rupier anteckningar i ett försök att inte lämnas utan kontanter under de närmaste dagarna.
Flytten är avsedd att låsa ut pengar som är oredovisade för - kända som " svarta pengar " - som kan ha förvärvats korrumperat eller undanhållits skattemyndigheterna.
Finansminister Shaktikant Das varnade människor med stora förråd av dolda kontanter att bankerna noga skulle övervaka utbytet av gamla sedlar för nya.
Mr Modi har satt sitt stall ut som en modernisering, anti-korruption korståg.
Skrämmande anteckningar som är mycket, mycket vanliga är hans största offensiva ännu. De flesta transaktioner i det dagliga livet sker i kontanter och 45 % av dessa sker i sedlar i valörerna 500 rupier och över.
Inte en enda nyhetsorganisation verkade veta att detta skulle komma. Jag såg ett nyhetsankare producera en wad av 500s från sin egen ficka i luften undrar om dessa nu bara var bitar av papper - och undrar också om barerna i Delhi skulle se en plötslig våg av affärer.
Det har fångat landet helt oväntat. Det kommer också att finnas begränsningar för uttag av uttag från kassapunkter under de kommande veckorna.
Läs mer från Simon här
De 500 och 1.000 rupee-sedlarna är de högsta valörsnoterna i landet och är extremt vanliga i Indien. Flygplatser, järnvägsstationer och sjukhus accepterar dem endast fram till den 11 november.
Människor kommer att kunna växla sina pengar på banker mellan den 10 november och den 30 december.
Modis regerande Bharatiya Janata Party kom till makten 2014 och lovade att föra in miljarder dollar svarta marknadspengar i landets finansiella system. Hans regering är halvvägs igenom sin mandatperiod.
Tillkännagivandet kommer strax över en månad efter att regeringen samlat in nästan $ 10 miljarder genom en skatteamnesti för indianer att deklarera dolda inkomster och tillgångar.
BBC: s Justin Rowlatt i Delhi säger att frågan om "svarta pengar" är ett stort problem i Indien och det senaste draget är premiärministerns stora demonstration att han tar det på allvar.
Tanken är att låsa in pengar som är oredovisade och göra dem synliga för skatteändamål - bankerna kommer gärna att växla några tusen rupier, men kommer att ställa frågor till dem som dyker upp med hundratusentals eller miljoner i valuta.
Det finns inga exakta siffror men experter säger att regeringens åtgärd kan vara "en mycket kraftfull åtgärd" för att tygla "svarta pengar".  IIFL Holdings Ltd Ordförande Nirmal Jain berättade Bloomberg att det kommer att ha "en deflatorisk inverkan i allmänhet och mer specifikt på fastighetspriserna - att göra bostäder överkomliga".
Det verkar inte så. En person kan lägga så mycket han eller hon vill i banken - men uttag är begränsade så banksystemet kan hamna översvämmas av kontanter.
Regeringens riktlinjer säger att det är möjligt att byta ut 4 000 rupier - men det är inte klart om detta är per dag eller totalt.
Kritiker säger att de nya reglerna kan göra det särskilt svårt för människor som väljer att hålla sina pengar hemma snarare än på ett bankkonto och för personer med stora rupier kassareserver som bor utomlands.
Om det finns en legitim förklaring till kontanterna, säger myndigheterna att det kommer att vara möjligt att byta ut dem.
Kontantpunkter stängs på onsdag och på vissa ställen även på torsdag - en utveckling som det verkar kan orsaka kontant blockeringar eller köer vid uttagsautomater.
Det är ett djärvt steg eftersom många människor som röstade på Mr Modi var små handlare som överväldigande gjorde sina affärer i kontanter.
Vår korrespondent säger att detta är människor som förmodligen har några hundra tusen rupier - några tusen dollar - lagrade under sina sängar och kommer att få problem när de dyker upp på banken på torsdag och försöker byta pengar.
Flytten lämnar en hel del osäkerhet om den indiska ekonomin åtminstone på kort sikt.
Indiens premiärminister Narendra Modi har meddelat att de 500 ($7.60) och 1.000 rupiesedlarna kommer att dras tillbaka från det finansiella systemet över en natt.