Il suo biografo, Francis Schiller, ricordò i contrasti avuti da Broca con le autorità della locale chiesa, oltre alle denunce ricevute dalle autorità, dopo aver fondato la "società dei liberi pensatori" nel 1848, con l'accusa di essere un sovversivo, un materialista, e un corrotto.