In gioventù aveva notato che le persone con occhi prominenti erano caratterizzati da una buona memoria. Sulla base di questa ed altre osservazioni cominciò a studiare i tratti somatici maggiormente associati alle diverse abilità artistiche, arrivando a formulare i principi della teoria frenologica, secondo cui sarebbe stato possibile riconoscere le facoltà psichiche di ogni persona dall'osservazione delle protuberanze craniche, determinate a suo dire da un maggior sviluppo delle zone cerebrali sottostanti.Gall può essere infatti considerato il primo medico che studiò le aree della corteccia cerebrale e le facoltà ad esse associate.