En av männen greps i huvudstaden Berlin och den andra i en stad nära Köln i Västtyskland.
Polisen beslagtog datorer, mobiltelefoner och skisser i räderna men hittade inte ett "rökande vapen", sa åklagarens talesman Martin Steltner.
Omkring 450 officerare var inblandade i räderna.
En av de fängslade männen, som uppges vara 35 år, hade bott i ett flyktinghärbärge i staden Attentorn, öster om Köln, och är efterlyst av de algeriska myndigheterna för påstådda kopplingar till IS.
Polisen sa "Undersökningar visar att han har utbildats militärt i Syrien".
Mannens hustru, som också var efterlyst av Algeriet, fängslades samtidigt, men åklagarna sade att hon inte var misstänkt i det tyska fallet.
Den misstänkte i Berlin greps misstänkt för förfalskning av identitetshandlingar, sade polisen.
Två andra algerier i Tyskland, som av polisen sades vara "från jihadistscenen", spårades upp men arresterades inte.
"Vår förståelse är att de fyra anklagade kan ha planerat att genomföra en attack tillsammans", sade Steltner.
Tyska medier sa att de möjliga målen inkluderade centrala Berlin turistattraktioner Checkpoint Charlie och Alexanderplatz.
Sedan januari, de misstänkta hade ändrat sina mobiltelefoner flera gånger och kommunicerat med hjälp av snabbmeddelanden tjänster, rapporter sade.
Tysklands säkerhetsproblem har ökat sedan Parisattackerna förra året.
Tjänstemännen avböjde att kommentera en rapport i tidningen Tagesspiegel med hänvisning till säkerhetskällor, som sade att äldre IS-personer hade beordrat en attack mot Tyskland.
Den tyska polisen har arresterat två algerier som misstänks för att ha planerat en attack och har kopplingar till den militanta gruppen, Islamiska staten (IS).