John Clancy, arbetarråd för Quinton, slog närmaste rival Penny Holbrook i måndags kvälls omröstning.
Inför omröstningen sade han att det bör vara högsta prioritet för myndigheten att tillhandahålla nya bostäder och förbättra befintliga subventionerade bostäder.
Han ersätter officiellt sir Albert Bore den 1 december.
Clancy, som flera gånger har erbjudit sig att bli ledare för kommunfullmäktige, valdes i valurnorna av myndighetens 78 labourrådsledamöter.
Uppdateringar om denna historia och andra om Birmingham och Black Country
Sir Albert meddelade att han skulle avgå som chef för den självutnämnda "största lokala myndigheten i Europa".
En nära anrop för en man som väntar i kulisserna i mer än tio år.
John Clancy har blivit ledare för Labourgruppen efter fem försök - och med bara en röst. Han blir officiellt ledare för Birminghams kommunfullmäktige den 1 december när det har ratificerats av hela fullmäktige.
En engelsk lärare i många år, han är inte främmande för att arbeta i den offentliga sektorn men han hade också en trollformel som advokat, liksom en affärsföreläsare.
Hans stora budskap vid en hustings förra veckan var att rådet under hans ledning kan ge smartare ekonomiska beslut, politisk öppenhet och gratis skolmåltider för alla barn i primäråldern.
Vissa kritiker inom partiet säger redan att de är oroliga att han inte kommer att ha inflytande eller visionen att göra de enorma och snabba förbättringar som behövs för att hålla regeringskommissionärer i schack.
Den tidigare ledaren för Labourgruppen följde två andra högt uppsatta partipersoner, som avgick efter att ha kritiserat hur staden drevs.
Ian Ward, vice ledare för den lokala myndigheten och fullmäktigeledamot Barry Henley stod också för positionen.
Clancy, en före detta lärare och föreläsare, har också lovat att utöka tillgången till gratis skolmåltider för grundskolebarn och utvidga förnyelsen utanför stadskärnan.
Birminghams kommunfullmäktige har granskats av en oberoende panel.
Panelen utsågs på Sir Bob Kerslakes rekommendation att övervaka förändringar i rådet.
Sir Bobs studie beställdes efter en serie rapporter fokuserade på rådet under en undersökning av det så kallade Trojan Horse brev.
Birminghams kommunfullmäktige har valt en ny ledare - med den vinnande utmanaren som håller fast positionen genom en enda omröstning.