
In statistica bayesiana, la probabilità a posteriori di un evento aleatorio o di una proposizione incerta, è la probabilità condizionata che è assegnata dopo che si è tenuto conto dell'informazione rilevante o degli antefatti relativi a tale evento aleatorio o a tale proposizione incerta. Similmente, la distribuzione di probabilità a posteriori è la distribuzione di una quantità incognita, trattata come una variabile casuale, condizionata sull'informazione posta in evidenza da un esperimento o da un processo di raccolta di informazione rilevanti (es. un'ispezione, un'indagine conoscitiva, ecc.).
La probabilità a posteriori è la probabilità dei parametri formula_1 data la conoscenza di formula_2: formula_3.
Essa differisce dalla funzione di verosimiglianza, che è la probabilità di possedere una data conoscenza una volta dati i parametri: formula_4.
I due concetti sono però tra loro collegati:
Supponiamo di avere una credenza a priori che la funzione di distribuzione di probabilità sia formula_5 e i dati osservati formula_2 con una verosimiglianza formula_4, allora la probabilità a posteriori è definita come
La probabilità a posteriori può essere scritta in una forma mnemonica come
Consideriamo una scuola mista composta dal 60% di ragazzi e dal 40% di ragazze. Le ragazze indossano pantaloni o gonne in numeri eguali, i ragazzi indossano tutti pantaloni. Un osservatore vede da distante uno studente (a caso); tutto quello che può dire è che indossa pantaloni. Qual è la probabilità che lo studente sia una ragazza? La risposta corretta può essere dedotta applicando il teorema di Bayes.
L'evento "G" è quello in cui lo studente visto è una ragazza, e l'evento "T" è quello in cui lo studente visto indossa pantaloni. Per calcolare P("G"|"T") abbiamo prima bisogno di sapere:
Una volta ottenute tutte queste informazioni, la probabilità che l'osservatore abbia individuato una ragazza una volta visto uno studente che indossa pantaloni può essere calcolata sostituendo i valori nella formula:
La distribuzione di probabilità a posteriori di una variabile casuale dato il valore di un'altra, può essere calcolata con il teorema di Bayes moltiplicando la distribuzione di probabilità a priori per la funzione di verosimiglianza, e quindi dividendo per una costante di normalizzazione come segue:
la quale fornisce la funzione di densità di probabilità per una variabile casuale "X" una volta dato "Y" = "y", dove
Nell'ambito della classificazione statistica le probabilità a posteriori riflettono l'incertezza nell'assegnare un'osservazione ad una classe particolare.
Mentre i metodi di classificazione statistica per definizione generano probabilità a posteriori, gli apprenditori automatici solitamente forniscono valori di appartenenza che non inducono alcuna confidenza di tipo probabilistico. È desiderabile trasformare o convertire i valori di appartenenza a valori di probabilità di appartenenza ad una certa classe in quanto tali classi sono, in confronto ai primi, di più facile trattamento in susseguenti elaborazioni.


Il teorema di Bayes (conosciuto anche come formula di Bayes o teorema della probabilità delle cause), proposto da Thomas Bayes, deriva da due teoremi fondamentali delle probabilità:
il teorema della probabilità composta e il teorema della probabilità assoluta. Viene impiegato per calcolare la probabilità di una causa che ha scatenato l'evento verificato. Per esempio si può calcolare la probabilità che una certa persona soffra della malattia per cui ha eseguito il test diagnostico (nel caso in cui questo sia risultato negativo) o viceversa non sia affetta da tale malattia (nel caso in cui il test sia risultato positivo), conoscendo la frequenza con cui si presenta la malattia e la percentuale di efficacia del test diagnostico.
Formalmente il teorema di Bayes è valido in tutte le interpretazioni della probabilità. In ogni caso, l'importanza di questo teorema per la statistica è tale che la divisione tra le due scuole (statistica bayesiana e statistica frequentista) nasce dall'interpretazione che si dà al teorema stesso.
Considerando un insieme di alternative formula_1 che partizionano lo spazio degli eventi formula_2 (ossia formula_3 e formula_4) si trova la seguente espressione per la probabilità condizionata:
Dove:
Intuitivamente, il teorema descrive il modo in cui le opinioni nell'osservare A siano arricchite dall'aver osservato l'evento E.
Si consideri una scuola che ha il 60% di studenti maschi e il 40% di studentesse femmine.
Le studentesse indossano in egual numero gonne o pantaloni; gli studenti indossano tutti quanti i pantaloni. Un osservatore, da lontano, nota un generico studente coi pantaloni. Qual è la probabilità che quello studente sia una femmina?
Il problema può essere risolto con il teorema di Bayes, ponendo l'evento A che lo studente osservato sia femmina, e l'evento B che lo studente osservato indossi i pantaloni. Per calcolare P(A|B), dovremo sapere:
Ciò detto, possiamo applicare il teorema:
C'è pertanto 1/4 di probabilità che lo studente sia femmina cioè 25%.
Il teorema deriva dalla definizione di probabilità condizionata. La probabilità di un evento "A", noto un evento "B", risulta:
In modo analogo, la probabilità di un evento "B" noto un evento "A":
Pertanto:
Sostituendo nella prima uguaglianza, si trova il teorema di Bayes:
Si supponga di partecipare a un gioco a premi, in cui si può scegliere fra tre porte: dietro una di esse c'è un'automobile, dietro le altre, due capre. Si sceglie una porta, diciamo la numero 1, e il conduttore del gioco a premi, che sa cosa si nasconde dietro ciascuna porta, ne apre un'altra, diciamo la 3, rivelando una capra. Quindi domanda: «Vorresti scegliere la numero 2?» Ti conviene cambiare la tua scelta originale?
Si potrebbe pensare che, con due porte chiuse, si abbia una probabilità 50:50 per ognuna, e che quindi non ci sia motivo di cambiare porta. Non è questo il caso. Chiamiamo l'evento che la macchina si trovi dietro una certa porta rispettivamente A, A e A.
All'inizio, è ovvio che:
formula_11
Come detto prima, la porta scelta è la numero 1. Chiamiamo B l'evento "il presentatore apre la porta 3". Ora:
La probabilità a priori per l'evento B è del 50%, infatti:
Da cui:
Da ciò è evidente che si deve sempre cambiare con la porta 2.
I filtri bayesiani sono uno strumento utilizzato per combattere lo spam che deve il suo funzionamento proprio al teorema di Bayes. Un filtro bayesiano fa uso di un classificatore bayesiano per riconoscere se una certa sequenza di simboli (come una parola) si presenta spesso nei messaggi di spam, quindi applica l'inferenza bayesiana per calcolare la probabilità che un determinato messaggio sia spam.
Il teorema si chiama così in onore del reverendo Thomas Bayes (1702–1761), il quale studiò come calcolare una distribuzione per il parametro di una distribuzione binomiale. Un suo amico, Richard Price, pubblicò il lavoro nel 1763, dopo la morte di Bayes, nell'articolo "Essay Towards Solving a Problem in the Doctrine of Chances". 
Alcuni anni dopo (nel 1774) viene formulato da Pierre Simon Laplace che probabilmente non era a conoscenza del lavoro di Bayes.
Una ricerca da parte di un professore di statistica (Stigler, 1982) sembrerebbe suggerire che il teorema di Bayes sia stato scoperto da Nicholas Saunderson anni prima di Bayes.
