Mutationen fanns också i våra evolutionära "kusiner" - neandertalarna och denisovanerna.
Men den finns inte hos människornas närmaste levande släktingar, schimpanserna.
När de tidiga människorna utvecklades utvecklade de större och mer komplexa hjärnor, som kan bearbeta och lagra mycket information.
Förra året pekade forskarna ut en mänsklig gen som de tror låg bakom expansionen av en viktig hjärnregion som kallas neokortex.
De tror att genen uppstod för ungefär fem eller sex miljoner år sedan, efter det att den mänskliga linjen hade skilts från schimpanser.
Nu har forskare hittat en liten DNA-förändring - en punktmutation - som verkar ha förändrat funktionen hos genen, vilket sätter igång expansionsprocessen av neokortex.
Människans hjärna
Källa: Smithsonian Museum
Det kan ha banat väg för hjärnans expansion genom att dramatiskt öka antalet hjärnceller som finns i denna region.
Dr Wieland Huttner vid Max Planck Institute of Molecular Cell Biology and Genetics i Dresden, Tyskland, ledde forskningen.
"En punktmutation i en människospecifik gen gav den en funktion som möjliggör expansion av relevanta stamceller som gör en hjärna stor", berättade han BBC News.
"Den här, som den är fast i det mänskliga genomet - så alla levande människor har genen - gav uppenbarligen en enorm urvalsfördel, och det är därför vi tror att den spred sig i den mänskliga befolkningen."
För mellan två och sex miljoner år sedan började förfäderna till moderna människor gå upprätt och använda enkla verktyg.
Under denna långa tidsperiod började deras hjärnstorlek att öka. De började sprida sig runt om i världen och möta olika miljöer.
Från omkring 800.000 år sedan, deras hjärnstorlek ökade ytterligare, hjälpa dem att överleva i en föränderlig värld.
Men det återstår fortfarande många frågor om hur de tidiga människorna utvecklade större hjärnor.
Det är troligt att genen är en av många genetiska förändringar som gav människan deras unika intelligens och tankeförmåga.
Forskningen publiceras i tidskriften Science Advances.
Följ Helen på Twitter.
Människor kan delvis vara skyldiga sina stora hjärnor en DNA-"typo" i sin genetiska kod, föreslår forskningen.