
Il test di verifica d'ipotesi si utilizza per verificare la bontà di un'ipotesi.
Per ipotesi è da intendersi un'affermazione che ha come oggetto accadimenti nel mondo reale, che si presta ad essere confermata o smentita dai dati osservati sperimentalmente.
Il metodo con cui si valuta l'attendibilità di un'ipotesi è il metodo sperimentale. Quest'ultimo consiste nel determinare le conseguenze di un'ipotesi in termini di eventi osservabili, e di valutare se la realtà effettivamente osservata si accorda o meno con l'ipotesi su di essa fatta. 
A tal riguardo si distinguono due ambiti in cui tale attività si esplica:
Nell'ambito statistico, a seconda delle ipotesi si distingue tra:
Nel primo caso, si tende a pervenire a delle conclusioni più sicure possibili. Ad esempio volendo provare se in un circuito elettrico passa corrente si inserirà una lampadina o un amperometro e si constaterà l'accensione o l'attivazione dello strumento. In tal caso si perviene con maggior sicurezza alla conclusione. Se la lampadina si accende allora passa corrente; in caso contrario il circuito non è predisposto correttamente.
In questo ambito, se nel circuito passa corrente la maggior parte delle volte che si inserisce una lampadina questa si accende. In caso contrario il ripetuto inserimento della lampadina darà sempre esito negativo.
Nel secondo caso la situazione è modificata in quanto interviene un elemento nuovo, ovvero il caso e/o l'errore di misura. Si supponga di avere una moneta recante due facce contrassegnate con testa e croce. Volendo verificare l'ipotesi di bilanciamento della moneta si eseguono 20 lanci e si contano quelli che danno esito testa. La conseguenza del bilanciamento consiste nell'osservare un valore di teste attorno a 10. Tuttavia anche in ipotesi di bilanciamento non si può escludere di osservare 20 teste. D'altronde, l'ipotesi di bilanciamento è logicamente compatibile con un numero di teste variante da 0 a 20. In tale contesto una qualsiasi decisione in merito all'ipotesi da verificare comporta un rischio di errore. Ad esempio rigettare l'ipotesi di bilanciamento della moneta avendo osservato 20 teste su 20 lanci comporta il rischio di prendere una decisione errata. 
Nel procedere alla verifica dell'ipotesi di bilanciamento della moneta, si ricorre a una variabile casuale X. Tale variabile casuale X è una variabile aleatoria discreta con distribuzione binomiale B(20; 0,5), dove 20 indica il numero di lanci e 0,5 la probabilità che si verifichi l'evento "testa".
Il risultato sperimentale si deve quindi confrontare con tale distribuzione: quanto è distante tale risultato dal valore medio della distribuzione B(20; 0,5)? Per rispondere alla domanda si deve individuare un valore caratteristico della distribuzione B(20; 0,5). Nel nostro caso tale valore caratteristico è il valore medio 20/2 = 10. Per valutare la distanza tra il valore sperimentale e quello atteso si valuta la probabilità di ottenere un valore sperimentale lontano dal valore medio di B(20; 0,5), ossìa nel caso che dal nostro esperimento risulti X=15 (15 teste dopo 20 lanci), si calcola P{|X-10|>=15-10} quindi P{X<=5 oppure X>=15}=0,041.
Quindi, usando una moneta ben bilanciata, la probabilità di ottenere un numero di teste X >= 15 (oppure X <= 5) dopo 20 lanci è pari a 0,041 ossia al 4,1%. Giudicando bassa tale probabilità si rifiuterà l'ipotesi di bilanciamento della moneta in esame, accettando quindi il rischio del 4,1% di compiere un errore nel rifiutarla. Di solito, il valore della probabilità adottato per rifiutare l'ipotesi nulla è < 0,05. Tale valore è detto livello di significatività ed è definibile come segue: il livello di significatività sotto l'ipotesi nulla è la probabilità di cadere nella zona di rifiuto quando l'ipotesi nulla è vera. Tale livello di significatività si indica convenzionalmente con α. Il livello di significatività osservato α del test per il quale si rifiuterebbe l'ipotesi nulla è detto valore-p ("p-value"). Riprendendo l'esempio sopra riportato il valore-p è pari a 0,041.
Adottando nell'esempio α = 0,05, si rifiuterà l'ipotesi se P{|X-10|>=x}<0,05. Tale condizione si raggiunge appunto se X<6 oppure X>14. Tale insieme di valori si definisce convenzionalmente come regione di rifiuto. Viceversa l'insieme { 6,7…14} si definisce regione di accettazione. In questo modo si è costruita una regola di comportamento per verificare l'ipotesi di bilanciamento della moneta. Tale regola definisce il test statistico.
In termini tecnici l'ipotesi da verificare si chiama ipotesi nulla e si indica con "H", mentre l'ipotesi alternativa con "H". Nel caso della moneta, se "p" è la probabilità di ottenere testa in un lancio la verifica di ipotesi si traduce nel seguente sistema:
Come già osservato, il modo di condurre un test statistico comporta un rischio di errore. Nella pratica statistica si individuano due tipi di errori:
Tornando all'esempio della moneta in cui la regione di accettazione è data dall'insieme di valori {6..14}, la probabilità di rifiutare H quando è vera è stato calcolato pari a 0,041.Tale probabilità rappresenta il rischio di incorrere in un errore di primo tipo e si indica con α. Per valutare la probabilità di un errore di secondo tipo è necessario specificare un valore di "p" in caso di verità di H. Si supponga che p=0,80, in tal caso la distribuzione di X è una B(20;0,80)
Con tale distribuzione di probabilità, l'errore di tipo "2" si calcola sommando le probabilità relative ai valori di X della zona di accettazione, ciò supponendo H vera. Si trova quindi che la probabilità cercata è pari a circa 0,20. Tale probabilità quantifica il rischio di incorrere nell'errore di tipo "2." e si indica convenzionalmente con β. La quantità 1-β si chiama "potenza del test" ed esprime quindi la capacità di un test statistico di riconoscere la falsità di H quando questa è effettivamente falsa. La potenza del test trova applicazione nella pratica statistica in fase di pianificazione di un esperimento.


statistica, quando si stima un parametro, la semplice individuazione di un singolo valore è spesso non sufficiente.
È opportuno allora accompagnare la stima di un parametro con un intervallo di valori plausibili per quel parametro, che viene definito intervallo di confidenza (o intervallo di fiducia).
Se formula_1 e formula_2 sono variabili casuali con distribuzioni di probabilità che dipendono da qualche parametro formula_3 e formula_4 (dove formula_5 è un numero tra 0 e 1), allora l'intervallo casuale formula_6 è un intervallo di confidenza al formula_7 per formula_8. I valori estremi dell'intervallo di confidenza si chiamano "limiti di confidenza".
Ad esso si associa quindi un valore di probabilità cumulativa che caratterizza, indirettamente in termini di probabilità, la sua ampiezza rispetto ai valori massimi assumibili dalla variabile aleatoria misurando cioè la probabilità che l'evento casuale descritto dalla variabile aleatoria in oggetto cada all'interno di tale intervallo, graficamente pari all'area sottesa dalla curva di distribuzione di probabilità della variabile aleatoria nell'intervallo considerato.
È bene non confondere l'intervallo di confidenza con la probabilità. Data l'espressione "vi è un livello di confidenza del 95% che formula_9 sia nell'intervallo", nulla si può dire sulla probabilità che l'intervallo ottenuto contenga formula_10
Si ipotizzi di voler calcolare l'età media degli abitanti di un luogo. Supponiamo che non si conosca l'età per ogni singolo abitante. Viene allora estratto un campione casuale di abitanti di cui è possibile sapere l'età, e dal campione si tenta di inferire ("predire") l'età media per tutta la popolazione residente e la variabilità di tale dato. Questo può essere fatto calcolando, ad esempio, l'età media delle persone presenti nel campione e ipotizzando che questo valore coincida con l'età media di tutta la popolazione inclusa quella non scelta nel campione. In questo caso si è fatta una "stima puntuale". Alternativamente, a partire dalle età delle persone nel campione, si può calcolare un intervallo di valori entro il quale si ritenga ci sia il valore della media di tutta la popolazione e, se la procedura è fatta in modo rigoroso e statisticamente corretto, è possibile stabilire un valore di "confidenza" di quanto sia "credibile" che l'intervallo ottenuto contenga effettivamente il valore cercato. In questo caso si è fatta una "stima per intervalli" e l'intervallo ottenuto è detto "intervallo di confidenza".
Riassumendo: la stima puntuale fornisce un valore singolo che varia a seconda del campione, e difficilmente coincide con il valore vero della popolazione; la stima per intervalli fornisce un insieme di valori (intervallo) che con una certa "confidenza" contiene il valore vero della popolazione.
Se formula_11 è una variabile aleatoria di media formula_9 e varianza formula_13 con formula_14 si indica la variabile campionaria corrispondente che ha media aritmetica degli formula_15 dati osservati nel campione
e deviazione standard
Il livello di confidenza è fissato dal ricercatore. Il valore scelto più di frequente è 95%. Tuttavia, meno di frequente, viene scelto anche un livello di confidenza del 90%, oppure del 99%.
Se il valore di formula_18 non differisce molto dalla variabilità formula_19 della popolazione, può essere assunto come suo stimatore (ad esempio con un numero di soggetti osservati e replicazioni complessivamente maggiore di 60; in alternativa si ipotizza una distribuzione t di Student caratterizzata da una maggiore dispersione rispetto alla normale standard). In questa prima ipotesi, l'intervallo di confidenza per la media formula_9 ("vera media", della popolazione) al 99% (al livello formula_21), è dato da:
Al 95% è dato da:
Prima della diffusione dei computer si cercava di utilizzare l’approssimazione normale ogni qualvolta possibile. Adesso non è più strettamente necessario, e nella formula possono essere utilizzati percentili di altre distribuzioni, facendo rifierimento a campioni di dimensione più ridotta).
Dalle formule risulta che i due intervalli di confidenza possono essere scritti in funzione dei "soli dati campionari" formula_24.
Oltre a diminuire con il livello di confidenza, l'ampiezza dell'intervallo dipende dall'errore della stima formula_25 e diminuisce se:
Qualora la popolazione non segua il modello gaussiano, se il campione è grande a sufficienza, la variabile campionaria tende a seguire comunque una legge normale (teorema centrale del limite). In altre parole, le due formule precedenti per l'intervallo di confidenza si possono usare anche nel caso in cui non è nota la sua legge di probabilità.
Il livello di confidenza o copertura è il complemento a uno del livello di significatività formula_27: ad esempio, un intervallo di confidenza al formula_28 corrisponde a un livello di significatività di formula_29.
Gli intervalli di confidenza sono spesso confusi con altri concetti della statistica, e talora oggetto di errate interpretazioni anche da parte di ricercatori professionisti. Alcuni errori comuni:
Gli intervalli di confidenza furono introdotti da Jerzy Neyman in un articolo pubblicato nel 1937.
C'è un metodo agevole per il calcolo degli intervalli di confidenza attraverso il test di verifica d'ipotesi (secondo l'impostazione di Neyman).
Un intervallo di confidenza al 95% si può quindi ricavare da un test di verifica d'ipotesi di significatività 5%.
