Homs guvernör Talal Barrazi sa att evakueringen av al-Wair var en del av en befintlig överenskommelse med samhällsledare och skulle ta sex till åtta veckor.
Oppositionsaktivisterna sa att rebellerna skulle få avgå med sina familjer i norra Syrien.
Al-Wair, hem för uppskattningsvis 75 000 personer, har varit under belägring av regeringsstyrkor sedan slutet av 2013.
Homs döptes till "revolutionens huvudstad" efter att invånarna tog emot uppmaningen att störta president Bashar al-Assad 2011 och drev säkerhetsstyrkorna ut ur en stor del av staden följande år.
Detta föranledde regeringen att inleda en brutal tvåårig belägring som lämnade hela områden förstörda och till slut tvingade rebeller att dra sig tillbaka från den gamla staden 2014.
Al-Wair, i västra utkanten, är det sista rebelldistriktet.
I december 2015 kom samhällsledarna överens om en femstegs vapenvila med regeringen.
Den första fasen ledde till att 300 rebeller lämnade landet och regeringen tillät ett begränsat antal livsmedel och humanitärt bistånd. Men affären upphörde senare.
Den andra fasen ägde inte rum förrän i september, då flera hundra fler rebeller evakuerades och regeringen befriade 200 fängslade al-Wair-invånare.
De kommande två faserna kommer att se omkring 10 000 till 15 000 personer lämna i flera grupper under de kommande veckorna, oppositionsaktivister från Homs Media Centre berättade Reuters nyhetsbyrå.
På webbplatsen för "pro-opposition Orient News" rapporterade man att rebellerna planerade att bege sig till Jarablus, en stad nära gränsen till Turkiet som tillfångatogs från den så kallade islamiska staten i augusti förra året.
I en separat utveckling på måndagen sade flera rebellfraktioner att de ännu inte var redo att skicka en delegation för att delta i samtal med den regering som är planerad att börja i Kazakstan på tisdag.
Ahmed Othman från Sultan Murad-brigaden berättade för Reuters att en av anledningarna till bojkotten var ouppfyllda löften om ett upphörande av fientlighetsavtalet som Ryssland och Turkiet hade ingått i slutet av december.
Othman klagade över att Ryssland, en allierad till president Bashar al-Assad, hade misslyckats med att stoppa regeringens bombardemang av rebellbesatta områden.
Syriska rebellstyrkor har gått med på att lämna sin sista enklav i staden Homs, säger regeringstjänstemän.