
La classificazione statistica è quell'attività che si serve di un algoritmo statistico al fine di individuare una rappresentazione di alcune caratteristiche di un'entità da classificare (oggetto o nozione), associandole una etichetta classificatoria. Tale attività può essere svolta mediante algoritmi di apprendimento automatico supervisionato o non supervisionato. Esempi di questi algoritmi sono:
I programmi che effettuano l'attività di classificazione sono detti classificatori. Talora si usa l'aggettivo "statistica" anche per classificazioni utilizzate per costruire indicazioni statistiche sulle entità assegnate ai diversi contenitori di una classificazione, soprattutto nel caso delle tassonomie, mentre nella definizione della classificazione non si sono utilizzati precisi metodi statistici.


In statistica bayesiana, la probabilità a posteriori di un evento aleatorio o di una proposizione incerta, è la probabilità condizionata che è assegnata dopo che si è tenuto conto dell'informazione rilevante o degli antefatti relativi a tale evento aleatorio o a tale proposizione incerta. Similmente, la distribuzione di probabilità a posteriori è la distribuzione di una quantità incognita, trattata come una variabile casuale, condizionata sull'informazione posta in evidenza da un esperimento o da un processo di raccolta di informazione rilevanti (es. un'ispezione, un'indagine conoscitiva, ecc.).
La probabilità a posteriori è la probabilità dei parametri formula_1 data la conoscenza di formula_2: formula_3.
Essa differisce dalla funzione di verosimiglianza, che è la probabilità di possedere una data conoscenza una volta dati i parametri: formula_4.
I due concetti sono però tra loro collegati:
Supponiamo di avere una credenza a priori che la funzione di distribuzione di probabilità sia formula_5 e i dati osservati formula_2 con una verosimiglianza formula_4, allora la probabilità a posteriori è definita come
La probabilità a posteriori può essere scritta in una forma mnemonica come
Consideriamo una scuola mista composta dal 60% di ragazzi e dal 40% di ragazze. Le ragazze indossano pantaloni o gonne in numeri eguali, i ragazzi indossano tutti pantaloni. Un osservatore vede da distante uno studente (a caso); tutto quello che può dire è che indossa pantaloni. Qual è la probabilità che lo studente sia una ragazza? La risposta corretta può essere dedotta applicando il teorema di Bayes.
L'evento "G" è quello in cui lo studente visto è una ragazza, e l'evento "T" è quello in cui lo studente visto indossa pantaloni. Per calcolare P("G"|"T") abbiamo prima bisogno di sapere:
Una volta ottenute tutte queste informazioni, la probabilità che l'osservatore abbia individuato una ragazza una volta visto uno studente che indossa pantaloni può essere calcolata sostituendo i valori nella formula:
La distribuzione di probabilità a posteriori di una variabile casuale dato il valore di un'altra, può essere calcolata con il teorema di Bayes moltiplicando la distribuzione di probabilità a priori per la funzione di verosimiglianza, e quindi dividendo per una costante di normalizzazione come segue:
la quale fornisce la funzione di densità di probabilità per una variabile casuale "X" una volta dato "Y" = "y", dove
Nell'ambito della classificazione statistica le probabilità a posteriori riflettono l'incertezza nell'assegnare un'osservazione ad una classe particolare.
Mentre i metodi di classificazione statistica per definizione generano probabilità a posteriori, gli apprenditori automatici solitamente forniscono valori di appartenenza che non inducono alcuna confidenza di tipo probabilistico. È desiderabile trasformare o convertire i valori di appartenenza a valori di probabilità di appartenenza ad una certa classe in quanto tali classi sono, in confronto ai primi, di più facile trattamento in susseguenti elaborazioni.
