I ett uttalande sades att kampanjen syftade till att "häva nationens territoriella integritet" och "förbättra säkerheten".
På tisdagen förklarade president Goodluck Jonathan undantagstillstånd i Yobe, Borno och Adamawa stater efter en rad dödliga attacker av militanta.
Fighters från Boko Haram-gruppen får skulden för det mesta av våldet.
Gruppen, som har sina rötter i nordöstra Nigeria, är kopplad till blodsutgjutelse där omkring 2 000 människor har dött sedan 2010.
Boko Haram har tagit kontroll över delar av nordöstra delen under de senaste tre åren, och en stor del av våldet har begränsats till denna region.
Från Will RossBBC Nigeria korrespondent
Det råder inget tvivel om att situationen i norra Nigeria försämras snabbt och nu har president Goodluck Jonathan medgett så mycket. Ingen annan i regeringen hade vågat säga ett ord.
Frekvensen och omfattningen av de attacker som Boko Haram utfört har tvingat presidenten att vidta åtgärder och tysta några av hans kritiker som anklagar honom för att vara ur beröring och långsam att reagera.
Vissa analytiker har föreslagit att om det lämnas att festa finns det inte mycket att stoppa Boko Haram från att inrätta sina egna islamiska institutioner i extrem nordost.
Kommer fler stövlar på marken att förbättra situationen? Mycket kommer att bero på hur trupperna beter sig. Analytiker hävdar att militären redan har förlorat kampen för hjärtan och sinnen och invånarna känner sig fångade mellan de två sidorna av denna skumma konflikt.
Kan Nigeria kväsa Boko Haram?
Gruppen bombade emellertid Nigerias huvudstad Abuja 2011 och 2012.
De militanta har skapat närmare förbindelser med al-Qaida-kopplade militanter i Sahararegionen och har tillgång till alltmer sofistikerade vapen. Man tror att de rör sig fram och tillbaka över gränserna, särskilt gränsen till Kamerun, säger analytiker.
Nigeria, en multietnisk nation med mer än 160 miljoner människor, påverkas också av konflikter om land, religion och olja.
Onsdagens försvarsministerium sa att armén, polisen och andra säkerhetsbyråer hade påbörjat operationer för att "rida nationens gränsterritorier terroristbaser och verksamhet".
Det uttalade målet att det kommer att hävda nationens territoriella integritet kommer en dag efter att presidenten sade att staten inte längre kontrollerade hela territoriet Nigeria, ett något pinsamt erkännande, säger BBC: s Will Ross i Lagos.
Operationen kommer att fokusera på att öka säkerheten i statliga strukturer efter det att presidenten sade attacker mot regeringsbyggnader och mord på tjänstemän och andra civila utgjorde en krigsförklaring.
Borno, Adamawa och Yobe är tre av de fattigaste staterna, långt från de södra oljefälten som ger näring åt regeringens kassakistor.
"Vi har haft en hel del problem [av] gränsbrott, och criss-crossing av gränsen av rebellerna, och det finns också bevis för att vissa av rebellerna verkligen är icke-niggerians," president talesman Doyin Okupe berättade BBC.
Från predikanter till slavplundrare
"Så länge terroristerna kan gå in och ut obestridda, då är vi i stora problem."
Invånare och reportrar i nordost sa att det redan hade skett en tillströmning av extra trupper och militär utrustning.
"Jag har aldrig sett soldater på resande fot ganska så här tidigare", säger Ahmed Mari, som bor i Maiduguri, huvudstaden i Borno staten.
"En hel del stridsutrustning har lagts ut på Maiduguri," Hajja Maimuna, vars hus ligger nära Maiduguris flygbas, berättade Nigerias Daily Trust webbplats.
"Vi är verkligen livrädda... Även om statsguvernören inte har tagits bort, vilket är bra, är sanningen att Maiduguri nu är en garnisonsstad, full av arga soldater som är redo att döda vid minsta provokation."
Boko Haram, vars namn betyder "västlig utbildning är förbjuden" på det lokala hausaspråket, kämpar för att störta regeringen och skapa en islamisk stat i norr.
Även om de ofta attackerar kristna och regeringens mål, har de också dödat många muslimska civila.
Nigeria har skickat en "massiv utplacering av män och resurser" för att bekämpa islamistiska militanter i tre nordöstra stater.