Un'ipotesi statistica è un assunto fatto su un qualche parametro di una popolazione tramite misure su campioni, oppure tramite un confronto di andamenti di dati sperimentali con un modello; il procedimento che porta a stabilire la verità o la falsità di tale ipotesi è detto test statistico. La risposta non è mai categorica: in statistica un'ipotesi viene respinta come falsa non se si ha la certezza che essa sia tale, ma se la probabilità che essa si verifichi non soddisfa determinate condizioni.I test di significatività riguardano il confronto fra i risultati ottenuti in due o più campioni, per stabilire se essi appartengono o no alla medesima popolazione. Un tipico esempio sono i tests sull'effetto di un nuovo farmaco, o di una nuova terapia, svolti tramite una sperimentazione su un gruppo 1 di una popolazione, i cui risultati vengono confrontati con quelli di un'altro gruppo 2 non trattato, che serve da controllo. In questo tipo di test il punto cruciale è stabilire se eventuali differenze fra campione di sperimentazione e campione di controllo possano essere fatte rientrare nelle normali fluttuazioni statistiche oppure se tali differenze debbono essere attribuite ad una effettiva modifica delle condizioni di base indotta dal trattamento. Per semplicità conviene ridurre questo dilemma all'assunto: "la differenza di valori è dovuta al caso, cioè i due campioni appartengono alla medesima popolazione", facendone l'ipotesi di lavoro, detta anche "ipotesi zero", a cui applicare il test più adeguato.Si indichino con (n 1 , x 1 , s 1 ) e con (n 2 , x 2 , s 2 ) la numerosità ed i risultati sulla variabile x ottenuti rispettivamente per il primo e per il secondo campione. Scelto il parametro statistico più opportuno per valutare la differenza di valori, si procede a calcolare la probabilità P( x 1 ≠ x 2 ) con cui la differenza osservata può realizzarsi per effetto del caso, cioè la probabilità che si verifichi l'ipotesi zero. In altre parole, P( x 1 ≠ x 2 ) costituisce il cosiddetto "livello di significatività" a cui si esclude che la diversità fra i campioni sia dovuta al caso, attribuendola invece al diverso trattamento a cui sono stati sottoposti. Il livello di significatività P( x 1 ≠ x 2 ) è quindi la misura dell'errore massimo che si può commettere nell'affermare l'esistenza di una diversità fra i campioni, quando questa in realtà non esiste e le differenze riscontrate sono effetto del caso: errore detto falso positivo, o α.Più difficile è valutare l'errore commesso nel negare l'esistenza di una diversità fra i due campioni quando questa in realtà esiste: errore detto falso negativo o β. Si dimostra che in generale β dipende da tre fattori: la dimensione dell'effetto che si vuole rivelare δ = x 1 -x 2 (è diverso evidenziare una differenza del 5 oppure del 50%), la numerosità campionaria n (aumentando il numero di soggetti, è più facile evidenziare eventuali variazioni significative) e la probabilità P( x 1 ≠ x 2 ) con cui si accetta l'ipotesi zero (è ovvio che se questa è a malapena superiore al limite richiesto per il rifiuto dell'ipotesi zero, vi sono più probabilità di avere un falso negativo di quando essa è invece molto più grande). Il valore di β è il complemento ad 1 della potenza Π del test usato per il confronto, cioè della probabilità di riuscire a rivelare un effetto reale.Col calcolo di P( x 1 ≠ x 2 ) la statistica termina il proprio lavoro, lasciando allo sperimentatore il compito di trarre dal suo valore le conclusioni più appropriate all'indagine in corso: il medesimo valore di probabilità può infatti portare a conclusioni diverse a seconda della variabile indagata e delle condizioni al contorno.Si definiscono test parametrici quelli elaborati specificamente per una data legge di distribuzione della variabile x; l'esempio più famoso è il test di Student, rigorosamente valido solo per distribuzioni normali. Qualora non si abbia conoscenza della distribuzione che regge la variabile, conviene ricorrere ai cosiddetti tests non parametrici, cioè con validità generale.Fra questi i più noti sono l'analisi della varianza nelle sue varie versioni (Fisher, ecc) e il test del χ 2 .