Sesto o settimo di dieci figli, nacque in Germania, a Tiefenbronn, da una famiglia di origini italiane. Il padre era un modesto commerciante di lana che spesso svolgeva anche incarichi di sindaco nella suddetta città; dopo aver intrapreso un percorso di studi letterari si iscrisse alla facoltà di Medicina di Strasburgo, diretta da Jean Hermann, nel 1777. In questa città sposò poco dopo una giovane ragazza che lo aveva aiutato e curato durante un attacco di tifo. Entrambi i genitori di Gall erano di religione cattolica e perciò cercarono di educare il figlio sulla base di questi principi: infatti ricevette i primi insegnamenti da un suo zio che era prete, prima di frequentare più tardi le scuole di Baden e Bruchsal. Nonostante più tardi egli stesso avesse ipotizzato l'esistenza di una specifica facoltà per la religione, non fu molto devoto; dimostrazione di ciò si ebbe nelle diverse accuse che gli furono rivolte: le più tipiche quelle di immoralità e ateismo, tanto è vero che vide gran parte dei suoi testi essere inseriti ne l'Indice dei libri proibiti, oppure quella di aver avuto molte amanti e probabilmente anche un figlio illegittimo. Attratto dalla fama di Gerard Van Swieten e Maximilian Stoll si trasferì all'Università di Vienna nel 1781, laureandosi quattro anni più tardi. Cominciò ad esercitare la professione medica, ma spese la maggior parte del suo tempo e delle sue energie nella ricerca scientifica; Gall lavorò specialmente tra Vienna e Parigi, città nelle quali ottenne un rapido successo anche grazie alla protezione che gli fu offerta da due funzionari dell'Impero: il conte Saurau e il barone von Retzer. Inoltre alcuni dei suoi più importanti pazienti furono il poeta Stendhal, il critico Auguste Comte e il politico Klemens von Metternich.