Avtalet tycks få ett slut på en bitter dispyt mellan koalitionen och den afghanska regeringen.
Trupperna och deras afghanska motsvarigheter har anklagats för mord och hot i området.
Specialstyrkorna och den lokala polisen kommer nu att påbörja ett stegvist tillbakadragande.
De afghanska säkerhetsstyrkorna kommer sedan att ta över på distriktsbasis.
Amerikanska specialstyrkor och den afghanska lokala polisen som de har utbildat i Wardak har anklagats för att ha begått grymheter i området, däribland mord på nio män.
Isaf har förnekat anklagelserna men president Hamid Karzai sa förra månaden att de skulle dra sig tillbaka inom två veckor.
Förhållandet mellan presidenten och Nato har varit spänt de senaste veckorna.
I tisdags beskrev presidentens talesman den Natoledda militära operationen i Afghanistan som "aimless och oklok".
"Vi har kommit överens om en plan för Wardak som fortsätter övergången av denna kritiska provins och uppfyller befolkningens säkerhetsbehov och kraven för vårt uppdrag", sade Isaf Commander Gen Joseph Dunford.
"Enligt avtalet, som börjar med Nerkh District, som för närvarande säkras av den afghanska lokala polisen (ALP) med hjälp av koalitionsstyrkor, kommer den afghanska regeringen snart att flytta afghanska nationella säkerhetsstyrkor (ANSF) till detta område för att tillhandahålla säkerhet.
"Anssens ankomst kommer att utesluta behovet av ALP och koalitionsstyrkor i detta område. Resten av provinsen kommer att förändras över tiden."
Generalen sade att avtalet återspeglade den "ökade kapaciteten och kapaciteten hos de afghanska säkerhetsstyrkorna att tillgodose Afghanistans säkerhetsbehov".
BBC: s Quentin Sommerville i Kabul säger att avtalet är kort om detaljerna - ingen tidsplan har uppnåtts när specialstyrkorna kommer att lämna. Men det gör det möjligt för Karzai att rädda ansiktet.
Den afghanska försvarsministerns talesman, general Zahir Azimi, sade att den afghanska armén "kommer att ta ledningen" efter det att internationella specialstyrkor dragit sig tillbaka från Nerkh-distriktet, "så detta problem kommer att lösas inom några dagar".
Men vår korrespondent säger att det är långt ifrån säkert att de redan utsträckta afghanska specialstyrkorna kommer att kunna upprätta säkerhet i Wardak när Nato väl har gett sig av.
Wardak är en kritisk provins. Beläget nära Kabul, har det använts som mellanstation för ett antal storskaliga attacker i staden och har varit den senaste tiden fokus för kontra-insurgens operationer.
De amerikanska styrkornas och den lokala milisens ansvarsskyldighet i samarbete med dem har varit en växande källa till motsättningar i förbindelserna mellan Afghanistan och USA.
Onsdagens överenskommelse går mot en bakgrund av långsiktiga förhandlingar över vilka utländska styrkor kommer att stanna kvar i Afghanistan efter Natos utträde 2014.
Största delen av Natos 100 000 soldater kommer att ge sig av i slutet av det året.
En överenskommelse har nåtts mellan Nato och den afghanska regeringen om tillbakadragandet av amerikanska specialstyrkor från Wardakprovinsen, har allianstjänstemän meddelat.