"I full samordning med Iraks regering, vi utplacerar en specialiserad expeditionär målgrupp för att hjälpa irakiska och kurdiska Peshmerga styrkor," Mr Carter sade.
Operatörerna skulle genomföra räder, fria gisslan och fånga IS-ledare.
De skulle också genomföra "ensidiga operationer" i Syrien, sade han.
Den islamiska staten erövrade stora delar av Irak och Syrien sommaren 2014.
En USA-ledd koalition med 65 länder för en kampanj mot militanterna i båda länderna.
Mr Carter gjorde tillkännagivandet i kommentarer till House Armed Services kommitté i Washington på tisdag.
Han erbjöd inga specifika uppgifter om antalet trupper, men sade att de också skulle vara inriktade på att säkra Iraks gränser och bygga upp den irakiska regeringsmaktens kapacitet.
USA:s specialstyrkor har redan genomfört operationer i både Syrien och Irak - särskilt dödandet av IS-oljechefen Abu Sayaff i östra Syrien och frigivandet av fångar från IS-staden Hawija nära Kirkuk i Irak.
Men detta är ett tydligt tecken från Pentagon på att deras roll kommer att bli mer betydelsefull.
Den "specialiserade expeditionsstyrkan", som Irakgruppen kallas, kommer inte bara att bistå lokala styrkor utan också genomföra ytterligare "ensidiga" räder mot Syrien.
Även om detta inte innebär ett betydande antal stövlar på marken, är det en upptrappning av USA: s roll i direkt strid.
Carter sade att det nu finns ett viktigt tillfälle att skilja IS-militanter i Irak från dem i Syrien.
I oktober meddelade USA att det skulle skicka upp till 50 soldater till norra Syrien som militära rådgivare till kurdiska styrkor och rebellstyrkor.
USA kommer att sätta in en specialiserad styrka i Irak för att bygga upp påtryckningar på islamiska statsaktivister, sade USA:s försvarsminister Ashton Carter.