Detta var ett viktigt krav från rebellerna under utdragna samtal som ledde till ett fredsavtal i augusti. Alla utländska styrkor skulle ha gett sig av senast den 10 oktober.
Under tiden, en rebell ledare har berättat för BBC affären är osannolikt att fungera och sade att han kan ta till vapen igen.
Tiotusentals människor har dött sedan inbördeskriget började 2013.
Ugandas försvarschef general Katumba Wamala berättade för pressen att alla soldater borde vara ute den 1 november.
Utrikesminister Henry Okello Oryem tillade i ett uttalande att Ugandas ingripande "hjälpte till att stoppa det som sannolikt var det värsta folkmordet i regionen".
Uganda har inte avslöjat hur många trupper landet har i Sydsudan, där de stöder regeringen.
Men de är stationerade i tre baser: den internationella flygplatsen i Juba; i Nesitu strax söder om huvudstaden och vid deras största bas i staden Bor, som är värd cirka 3.500 soldater.
BBC:s Catherine Byaruhanga i Uganda säger att en neutral regional styrka är tänkt att träda in när Uganda drar sig tillbaka, men det är inte klart när detta kommer att ske.
Överordnad rebellledare Gen Johnson Oloni sade att han kunde återuppta striderna på grund av president Salva Kiirs nyligen påbud om att skapa 18 nya stater.
Han kallade planen en "naken power-grab", BBC: s Tim Franks rapporterar från Sydsudan.
Han sade också att regeringen undergrävde överenskommelsen om attacker mot civila.
Rebellledaren sade att markanslag hade drivit hans etniska grupp att använda våld i det förflutna och de kunde göra det igen.
Gen Johnson är chef för Shilluk-milisen, som av FN:s barnbyrå Unicef anklagats för att ha kidnappat hundratals pojkar och tvingat dem att bli barnsoldater.
USA hade föreslagit att han skulle bli föremål för reseförbud och frysning av tillgångar, tillsammans med en arméchef, men detta blockerades av Ryssland och Angola vid FN:s säkerhetsråd.
Sydsudans gäckande fred:
Fem hinder för fred i Sydsudan
Ohederliga män
Sydsudan blev självständigt från grannlandet Sudan för fyra år sedan, vilket gjorde landet till världens yngsta land.
Två år senare, i december 2013, bröt en konflikt ut efter det att president Salva Kiir anklagade Riek Makar, hans avskedade ställföreträdare, för att ha planerat en statskupp.
Mr Makar förnekade anklagelsen, men bildade sedan en rebellarmé.
En stor del av striderna har utkämpats på etniska grunder, mellan Makars Nuer-grupp och Kiirs Dinka, de två dominerande etniska grupperna i Sydsudan.
Ugandas trupper kommer att börja lämna Sydsudan i slutet av veckan, enligt chefen för Ugandas styrka i landet.