Londonern slog konkurrensen från liknande Florens + The Machine, Wolf Alice och Supergrass stjärnan Gaz Coombes.
"Jag vet inte vad jag ska säga", sade 26-åringen som han tog emot priset, bjöd sedan in alla andra nominerade att ta till scenen med honom.
Han bröt sedan ihop i tårar när han överlämnade sitt pris till offren för terrorattackerna i Paris.
Musikern tillbringade sitt tidiga 20-tal med att bo i staden och busade på tunnelbanan som en kämpande musiker.
Han berättade för BBC News att han hade återvänt till Paris förra helgen för att stödja vänner som hade fastnat i tragedin.
När han tänkte på Mercurypriset, sade han: " Jag trodde alltid på min musik, men efter Paris hände var jag mycket nere.
"Jag trodde inte att jag skulle vinna. Jag har alltid velat bli nominerad till det här priset, men jag tänkte inte att jag skulle vinna det. Jag skämtade alltid om det!"
Musikerns debutalbum är en mycket personlig samling pianobaserade låtar, som kritikerna har kallat "bold", "brilliant" och "astonishing".
Den berör hans turbulenta uppväxt i Edmonton i London och de tre år han sov hårt i Paris.
"Jag fick den här skivan att tänka att bara 50 personer skulle lyssna på den", berättade han för BBC. "Min musik är inte mainstream musik.
"Det visar att man bara måste vara uppriktig i sitt arbete och folk kommer att lyssna på det."
Merkuriuspriset erkänner innovativa album som produceras i Storbritannien och Irland. Tidigare vinnare är Pulp, Primal Scream och PJ Harvey.
Tävlingen om årets titel var särskilt hård, och presentatör Lauren Laverne kallade domarnas beslut "omöjligt".
"De hade alla en lika stor chans", sade hon om de nominerade.
"Men det är vad som är trevligt med Mercury. Det är inte något där dina stora konstnärer kommer in och plockar upp alla gonggonger. Det kan vara vem som helsts."
En panel bestående av 12 musiker, radio- och TV-bolag och musikskribenter valde ut vinnaren och avgjorde sina slutliga röster på kvällen för prisutdelningen.
Juryn inkluderade den tidigare kandidaten Corinne Bailey Rae, som sa att beslutet kom "nästan tråden".
Domarna inledde sina överläggningar med en lång lista över 298 album tidigare i år, som var nedsänkt till en kortlista på 12, som tillkännagavs i oktober.
De var:
Läs mer om de kortlistade rättsakterna
Newcomer Eska, vars egen titelalbum är en ovanlig kombination av själ, psykedelia och jazz, sa att det fanns "12 vinnare" på natten, med nykomlingar och etablerade artister som delar rampljuset lika.
"Det finns ingen vinst att få, förutom en ficka full av pengar", tillade hon. "En väldigt stor ficka full av pengar!"
Den skotske kompositören C Duncan höll med om att hans karriär hade förändrats om han bara hade blivit nominerad.
"Det var en av dessa album som helt halkade under radarn", sade han om sin debutplatta, Arkitekt. "Men eftersom det var nominerat till Merkurius, så har så många fler människor lyssnat på det och upptäckt det, vilket är trevligt."
Benjamin Clementine har vunnit 2015 års Mercury-musikpris för sitt debutalbum, At Least For Now.