Ukrainska tjänstemän sade inventeringsarbetet började på lördag morgon med den faktiska reträtt för att börja på eftermiddagen.
Rebellerna i Luhansk-regionen sa att de drog tillbaka stridsvagnar.
Båda sidor har åtagit sig att dra ut materiel som bär vapen med mindre än 100mm (4in) kaliber.
Rebellerna i Donetsk-regionen citerades och sade att de skulle börja dra ut sina vapen den 18 oktober.
Återkallelseprocessen har ännu inte kontrollerats av internationella övervakare från Organisationen för säkerhet och samarbete i Europa (OSSE).
Utdragsdagen tillkännagavs vid ett möte mellan ledare från Ukraina, Ryssland, Frankrike och Tyskland på fredag.
Moskva förnekar att man skickar trupper och tunga vapen till de proryska separatisterna.
Kreml medger dock att ryska "volontärer" kämpar tillsammans med rebellerna i Donetsk- och Luhanskregionerna.
I en separat utveckling sade OSSE:s övervakare i ett uttalande på fredag de såg den kraftfulla TOS-1 Buratino flera raketkastare i Luhansk.
En talesman för OSSE:s särskilda övervakningsuppdrag i Ukraina berättade för BBC att upptäckten var särskilt betydelsefull på grund av den skada raketerna kan orsaka.
Rebellerna har inte kommenterat OSSE:s rapport.
Kris i Ukraina: Ryssland testar nya vapen
Ukraina "kan inte stoppa rysk rustning"
I Paris träffade Rysslands president Vladimir Putin Ukrainas Petro Porosjenko, Frankrikes Francois Hollande och Tysklands förbundskansler Angela Merkel för första gången sedan de enades om ett fredsavtal för Ukraina i Minsk i februari.
Vid det s.k. Normandie Four-mötet bedömdes alla delar av avtalet, bland annat anordnandet av lokala val i de rebelliska regionerna och tillbakadragandet av tunga vapen från kontaktlinjen.
Efter mötet sade Hollande att draften skulle börja på lördagen, och Porosjenko bekräftade senare detta i ett uttalande (på ukrainska).
Porosjenko sade att denna process sedan skulle fortsätta i etapper och att den skulle slutföras inom 41 dagar.
Han sade att 100m kaliber drag skulle omfatta inte bara artilleri bitar "utan också stridsvagnar och granatkastare".
När det gäller valet i de rebelliska områdena sade den franske ledaren att de måste hållas enligt ukrainsk lag, vilket förutsågs i fredsavtalet i Minsk.
Porosjenko sade att de fyra ledarna hade stött idén om val som uteslutande bygger på ukrainsk lagstiftning och i närvaro av OSSE:s observatörer, som bör ges full tillgång.
Rebellerna sade dock före Parissamtalen att de fortfarande hade för avsikt att genomföra lokala val på sina villkor.
Kiev säger att sådana val - att hållas på olika datum från resten av Ukraina och inte enligt ukrainsk lag - skulle vara "falska".
Ett eldupphör i östra Ukraina har hållits sedan september, även om det har förekommit rapporter om enstaka beskjutningar.
Konflikterna i Luhansk- och Donetskregionen började i april 2014, en månad efter att Ryssland annekterade Ukrainas södra Krimhalvö.
Ukrainas regeringsstyrkor och proryska rebeller säger att de har börjat dra tillbaka vapen från kontaktlinjen i östra delen av landet.