Petro Porosjenko sade 80% av Ukrainas trupper kvar på onsdag morgon efter flera dagars våldsamma strider.
Ryssland sade att ukrainska styrkor hade försökt kämpa sig ut ur staden efter att ha omringats men Porosjenko insisterade på att de aldrig var omringade.
Rebellernas framryckning på Debaltseve, som kom trots den senaste tidens vapenvila, har i stor utsträckning fördömts.
Natohövding Jens Stoltenberg sade att rebellernas offensiv hade äventyrat det bredare fredsavtalet och uppmanade Ryssland att "använda allt sitt inflytande på separatisterna för att få dem att respektera vapenvilan".
Han uppmanade också Moskva att dra tillbaka sina styrkor från Ukraina och sade att ryska trupper, artilleri- och luftförsvarsenheter fortfarande var aktiva i landet.
Tidigare insisterade den ryske utrikesministern Sergei Lavrov på rebellernas agerande i Debaltseve inte hade brutit mot vapenvilan eftersom det var en rebellstad när fredsavtalet undertecknades förra veckan.
Han uppmanade rebeller att förse trupper som kapitulerade med mat och kläder och sade att han hoppades att situationen i staden "inte skulle användas för att hitta en förevändning för att faktiskt undergräva [avtalet]".
Ögonvittnen såg dussintals stridsvagnar och kolonner av trötta ukrainska trupper retirera från Debaltseve på onsdag.
Rysslands statskontrollerade Channel One TV visade bilder på vad det sa var rebeller som hissade sin flagga ovanpå en höghusbyggnad i staden.
Senare citerades rebell talesman Eduard Basurin i ryska medier som säger Debaltseve var helt under kontroll av separatister, även om det fortfarande fanns "diparerade grupper av fienden" i den södra delen av staden.
En rebellbefälhavare i staden berättade för BBC att förhållandena var svåra, utan elektricitet och brist på mat och vatten. Han sa att rebellerna delade sina ransoner med de återstående civila.
President Porosjenko sade i ett uttalande: "Debaltseve var under vår kontroll, det fanns ingen omringning, och våra trupper lämnade området på ett planerat och organiserat sätt."
Han efterlyste "en bestämd reaktion från världens sida på Rysslands brutala brott mot Minskavtalen, vapenvilan och tillbakadragandet av tunga vapen".
Porosjenko besökte de soldater som hade lämnat Debaltseve i staden Artemivsk på onsdag. Tidigare sa han att det skulle vara en ära att skaka hand med "ukrainska hjältar".
En högt uppsatt ukrainsk militärtjänsteman sade att 22 ukrainska soldater hade dött i Debaltseve under de senaste tre dagarna.
Tidigare, en tjänsteman på ett bårhus i Artemivsk sade kropparna av 25 ukrainska soldater hade förts till anläggningen från Debaltseve, men detta har inte bekräftats.
Rebels har hävdat att hundratals ukrainska trupper dödades i sammandrabbningar runt staden, men Porosjenko förnekade detta.
Regeringen i Kiev medgav att några soldater tillfångatogs i Debaltseve, men gav inga detaljer om hur många som greps.
Hela onsdagen dundrade vägen ut ur Debaltseve in i regeringshärjat område till ljudet av retirerande rustningar - stridsvagnar och truppbärare fulla av utmattade, ibland trotsiga soldater.
I en buss vid sidan av vägen hittade jag en Yuri sjunken på sin plats, tvärs över gången från en sovande kollega.
Han sade att situationen hade blivit allt värre och att enskilda enheter hade tagit sina egna beslut att ge sig av. De höll på att få slut på ammunition och riskerade att bli omringade, berättade han.
Han beskyllde Rysslands president Vladimir Putin för att ha bedragit alla om vapenvilan. Vi känner honom väl nu, sa han. När han säger att något är garanterat, betyder det att det är någon slags fälla som kommer upp.
I närliggande fält, granatkastare och flera raketkastare sköt tillbaka mot rebellerna - ger skydd åt dem som fortfarande försöker lämna Debaltseve.
President Porosjenko säger att tillbakadragandet var planerat och organiserat, men på marken såg det ut som en hastig reträtt trots överväldigande odds.
Återtagandet kom efter att Rysslands president Vladimir Putin uppmanat Ukrainas trupper i Debaltseve att kapitulera.
Putin kommer att tala per telefon senare på onsdagen till förbundskansler Angela Merkel, Frankrikes president Francois Hollande och Porosjenko, enligt den franska regeringen.
Talesman Stephane Le Foll insisterade på den överenskommelse som de fyra ledarna tillkännagav förra veckan om att avsluta striderna i östra Ukraina var inte död, och att framsteg hade gjorts.
Internationella observatörer som övervakar vapenvilan har inte kunnat komma in i Debaltseve.
Staden har blivit ett nyckelpris för rebeller och regeringsstyrkor, eftersom den sitter på en strategisk järnvägslinje som förbinder de rebelliska städerna Donetsk och Luhansk.
Större delen av dess 25 000 invånare har evakuerats, men omkring 7 000 civila tros fortfarande vara fångade av striderna.
Vapenvilan, som trädde i kraft på söndagen, har i stort sett observerats på andra håll och en del rebelliska tunga vapen sägs ha dragits tillbaka.
FN säger att mer än 5 600 människor har dödats i konflikten, men det finns farhågor för att den faktiska dödssiffran kan vara mycket högre.
Striderna började i östra Ukraina i april, en månad efter att Ryssland annekterade Krimhalvön.
Ukrainas västvänliga regering säger att Ryssland stöder separatisterna med trupper och vapen, men Kreml har konsekvent förnekat detta.
Minskavtalet: Viktiga punkter
Ukrainas president säger att hans styrkor gör ett "organiserat" tillbakadragande från den omstridda staden Debaltseve.