
Il teorema di Bayes (conosciuto anche come formula di Bayes o teorema della probabilità delle cause), proposto da Thomas Bayes, deriva da due teoremi fondamentali delle probabilità:
il teorema della probabilità composta e il teorema della probabilità assoluta. Viene impiegato per calcolare la probabilità di una causa che ha scatenato l'evento verificato. Per esempio si può calcolare la probabilità che una certa persona soffra della malattia per cui ha eseguito il test diagnostico (nel caso in cui questo sia risultato negativo) o viceversa non sia affetta da tale malattia (nel caso in cui il test sia risultato positivo), conoscendo la frequenza con cui si presenta la malattia e la percentuale di efficacia del test diagnostico.
Formalmente il teorema di Bayes è valido in tutte le interpretazioni della probabilità. In ogni caso, l'importanza di questo teorema per la statistica è tale che la divisione tra le due scuole (statistica bayesiana e statistica frequentista) nasce dall'interpretazione che si dà al teorema stesso.
Considerando un insieme di alternative formula_1 che partizionano lo spazio degli eventi formula_2 (ossia formula_3 e formula_4) si trova la seguente espressione per la probabilità condizionata:
Dove:
Intuitivamente, il teorema descrive il modo in cui le opinioni nell'osservare A siano arricchite dall'aver osservato l'evento E.
Si consideri una scuola che ha il 60% di studenti maschi e il 40% di studentesse femmine.
Le studentesse indossano in egual numero gonne o pantaloni; gli studenti indossano tutti quanti i pantaloni. Un osservatore, da lontano, nota un generico studente coi pantaloni. Qual è la probabilità che quello studente sia una femmina?
Il problema può essere risolto con il teorema di Bayes, ponendo l'evento A che lo studente osservato sia femmina, e l'evento B che lo studente osservato indossi i pantaloni. Per calcolare P(A|B), dovremo sapere:
Ciò detto, possiamo applicare il teorema:
C'è pertanto 1/4 di probabilità che lo studente sia femmina cioè 25%.
Il teorema deriva dalla definizione di probabilità condizionata. La probabilità di un evento "A", noto un evento "B", risulta:
In modo analogo, la probabilità di un evento "B" noto un evento "A":
Pertanto:
Sostituendo nella prima uguaglianza, si trova il teorema di Bayes:
Si supponga di partecipare a un gioco a premi, in cui si può scegliere fra tre porte: dietro una di esse c'è un'automobile, dietro le altre, due capre. Si sceglie una porta, diciamo la numero 1, e il conduttore del gioco a premi, che sa cosa si nasconde dietro ciascuna porta, ne apre un'altra, diciamo la 3, rivelando una capra. Quindi domanda: «Vorresti scegliere la numero 2?» Ti conviene cambiare la tua scelta originale?
Si potrebbe pensare che, con due porte chiuse, si abbia una probabilità 50:50 per ognuna, e che quindi non ci sia motivo di cambiare porta. Non è questo il caso. Chiamiamo l'evento che la macchina si trovi dietro una certa porta rispettivamente A, A e A.
All'inizio, è ovvio che:
formula_11
Come detto prima, la porta scelta è la numero 1. Chiamiamo B l'evento "il presentatore apre la porta 3". Ora:
La probabilità a priori per l'evento B è del 50%, infatti:
Da cui:
Da ciò è evidente che si deve sempre cambiare con la porta 2.
I filtri bayesiani sono uno strumento utilizzato per combattere lo spam che deve il suo funzionamento proprio al teorema di Bayes. Un filtro bayesiano fa uso di un classificatore bayesiano per riconoscere se una certa sequenza di simboli (come una parola) si presenta spesso nei messaggi di spam, quindi applica l'inferenza bayesiana per calcolare la probabilità che un determinato messaggio sia spam.
Il teorema si chiama così in onore del reverendo Thomas Bayes (1702–1761), il quale studiò come calcolare una distribuzione per il parametro di una distribuzione binomiale. Un suo amico, Richard Price, pubblicò il lavoro nel 1763, dopo la morte di Bayes, nell'articolo "Essay Towards Solving a Problem in the Doctrine of Chances". 
Alcuni anni dopo (nel 1774) viene formulato da Pierre Simon Laplace che probabilmente non era a conoscenza del lavoro di Bayes.
Una ricerca da parte di un professore di statistica (Stigler, 1982) sembrerebbe suggerire che il teorema di Bayes sia stato scoperto da Nicholas Saunderson anni prima di Bayes.


In matematica, una funzione di densità di probabilità (o PDF dall'inglese "probability density function") è l'analogo della funzione di probabilità di una variabile casuale nel caso in cui la variabile casuale formula_1 sia continua, cioè l'insieme dei possibili valori che ha la potenza del continuo.
Essa descrive la "densità" di probabilità in ogni punto nello spazio campionario.
La funzione di densità di probabilità di una variabile casuale formula_1 è un'applicazione formula_3 non negativa integrabile secondo Lebesgue e reale di variabile reale tale che la probabilità dell'insieme "A" sia data da
per tutti i sottinsiemi "A" dello spazio campionario.
Intuitivamente, se una distribuzione di probabilità ha densità formula_3, allora l'intervallo formula_6 ha probabilità formula_7. Da ciò deriva che la funzione formula_3 è un'applicazione definita come
Assumendo formula_10, ciò corrisponde al limite della probabilità che formula_11 si trovi nell'intervallo formula_6 per formula_13 che tende a zero. Di qui il nome di funzione di 'densità', in quanto essa rappresenta il rapporto tra una probabilità e un'ampiezza.
Per la condizione di normalizzazione l'integrale su tutto lo spazio di formula_3 deve essere 1. Di conseguenza ogni funzione non negativa, integrabile secondo Lebesgue, con integrale su tutto lo spazio uguale a 1, è la funzione densità di probabilità di una ben definita distribuzione di probabilità. Una variabile casuale che possiede densità si dice "variabile casuale continua".
Per le variabili casuali multivariate (o vettoriali) la trattazione formale è assolutamente identica: formula_15 si dice assolutamente continua se esiste una funzione a valori reali definita in formula_16, detta densità congiunta, tale che per ogni sottoinsieme "A" dello spazio campionario
Essa conserva tutte le proprietà di una densità scalare: è una funzione non negativa a integrale unitario su tutto lo spazio. Una proprietà importante è che se formula_15 è assolutamente continua allora lo è ogni sua componente; il viceversa invece non vale. La densità di una componente, detta densità marginale, si ottiene con un ragionamento analogo al teorema della probabilità assoluta, cioè fissando l'insieme di suoi valori di cui si vuole determinare la probabilità e lasciando libere di variare tutte le altre componenti. Infatti (nel caso bivariato per semplicità) l'evento formula_19 è l'evento formula_20, dunque
utilizzando il teorema di Fubini. La densità marginale di formula_1 è data dunque da
La funzione di densità della variabile casuale normale di media 0
e varianza 1 (detta "normale standard"), di cui a destra è riportato il grafico e l'espressione analitica della corrispondente densità nel caso generico (media formula_24 e varianza formula_25).
Un altro esempio può essere dato dalla densità di probabilità uniforme su un segmento (0,1). Si può verificare immediatamente che è densità di probabilità facendo l'integrale tra (0,1).
