Roache, som är sekreterare i fackets Yorkshire-region, vann 56,7 procent av rösterna, medan den enda andra kandidaten, Paul McCarthy, från nordvästra regionen, hade 43,3 procent.
Fackföreningen är den tredje största i Storbritannien med mer än 600 000 medlemmar.
Nuvarande generalsekreterare Paul Kenny meddelade i somras att han stod ner efter nästan ett decennium i jobbet.
Roache har 35 års erfarenhet på GMB och ledde Leeds stadsfullmäktiges 13-veckors sop- och gaturengöringsstrejk 2009 - den längsta i fackets historia.
Han sa att han var "stolt och ödmjuk" för att ha blivit vald.
"Jag ska återgälda GMB-medlemmarnas tro på mig genom att leda ett 2000-talsfack som kämpar för våra medlemmar, deras familjer och samhällen, varje timme varje dag."
Roache hyllade också Kenny för hans arbete "som har gjort GMB till fackföreningsrörelsens avund".
Närmare uppgifter om överlämnandedatumet har ännu inte överenskommits.
GMB är ett av de tre största dotterbolagen till Labourpartiet och är en betydande finansiell bidragsgivare till partiet lokalt och nationellt.
Regional tjänsteman Tim Roache har valts till ny generalsekreterare för GMB-facket.