Figlio di Annette e Benjamin Broca, Paul nacque a Sainte-Foy-la-Grande nel 1824. Suo padre era definito il medico dei poveri, pagava loro le medicine e curava i ricchi per un tozzo di pane. Sua madre, figlia di un pastore protestante era più rigida e intransigente. Frequentò la scuola del paese. Scrisse dei versi anche in età matura. Molti scritti erano destinati alla sua famiglia, ai suoi amici o ai suoi colleghi. Circa quarantacinque manoscritti diversi furono riuniti in un piccolo volume accuratamente rilegato in cuoio e portante il numero 1913 della sua vasta biblioteca. Il giovane Broca faceva ai bambini ripetizione di matematica, lezioni di storia. Dopo il diploma lui cominciò a frequentare il Politecnico e il suo intento era quello di conseguire la laurea in ingegneria. Il dispiacere della morte in tenera età della sorella Leontine e il desiderio di non lasciare i genitori da soli fecero sì che egli rinunciasse ai suoi progetti di ingegnere e intraprendesse gli studi in medicina. Non fu una decisione facile. Si trasferì a Parigi, dimorò presso il collège Sainte-Barbe, accanto al Panthéon. Suo cugino Elio Broca, professore lui stesso, organizzò tutto e il giovane P. Broca divenne così “Carabin”, cioè studente in medicina.