
In statistica la significatività è la possibilità rilevante che compaia un determinato valore. Ci si riferisce anche come "statisticamente differente da zero"; ciò non significa che la "significatività" sia rilevante, o vasta, come indurrebbe a pensare la parola. Ma solo che è diversa dal numero limite.
Il livello di significatività di un test è dato solitamente da una verifica del test d'ipotesi. Nel caso più semplice è definita come la probabilità di accettare o rigettare l'ipotesi nulla.
I livelli di significatività sono solitamente rappresentati con la lettera greca α (alfa). I livelli più usati sono 5% (α=0,05) e 1% (α=0,01); nel caso di ipotesi a carattere prevalentemente esplorativo è consuetudine adoperare un livello di significatività al 10% (α=0,1). Se il test di verifica d'ipotesi dà un valore p minore del livello α, l'ipotesi nulla è rifiutata.
Tali risultati sono informalmente riportati come 'statisticamente significativi'. Per esempio se si sostiene che "c'è solo una possibilità su mille che ciò possa accadere per coincidenza," viene usato un livello di significatività dello 0,1%. Più basso è il livello di significatività, maggiore è l'evidenza. In alcune situazioni conviene esprimere la significatività statistica con 1 − α. In generale, quando si interpreta una significatività stabilita, bisogna stare attenti nell'indicare che cosa, precisamente è stato testato statisticamente.
Differenti livelli di α hanno differenti vantaggi e svantaggi. α-livelli più bassi danno maggiore confidenza nella determinazione della significatività, ma corrono maggiori rischi di errore nel respingere una falsa ipotesi nulla (un errore di tipo II, o "falsa determinazione negativa"), e così hanno maggiore potenza statistica. La selezione di un α-livello inevitabilmente implica un compromesso fra significatività e potenza, e di conseguenza, fra errore tipo I ed errore tipo II.
In alcuni campi, per esempio nella fisica nucleare ed in quella delle particelle, si usa esprimere la significatività statistica in unità di "σ" (sigma), la deviazione standard di una distribuzione gaussiana. Una significatività statistica di "formula_1" può essere convertita in un valore di α usando la funzione errore:
L'uso di σ è motivato dalla onnipresenza della distribuzione gaussiana nella 
misura delle incertezze. Per esempio se una teoria prevede che un parametro abbia un valore, ad esempio 100, e ad una misurazione indica che il parametro è 100 ± 3, allora bisogna riportare la misura come una "deviazione 3σ" dalla previsione teorica. in termini di α, questa situazione è equivalente al dire che "supponendo vera la teoria, la possibilità di ottenere che il risultato sperimentale coincida è dello 0,27%" (poiché 1  − erf(3/√2) = 0.0027).
Fissati i livelli di significatività come quelli menzionati in seguito possono essere considerati come utili nelle analisi di dati esploratorie. Comunque, la moderna statistica è dell'avviso che, dove il risultato di un test è essenzialmente il risultato finale di un esperimento o di altro studio, il p-valore deve essere considerato esplicitamente. Inoltre, ed è importante, bisogna considerare se e come il p-valore è significativo o meno. Questo consente di accedere al massimo delle informazioni che devono essere trasferiti da un riassunto degli studi nelle meta-analisi.
Un errore comune è ritenere che un risultato statisticamente significativo sia sempre di significatività pratica, o dimostri un largo effetto nella popolazione. Sfortunatamente, questo problema si incontra diffusamente negli scritti scientifici. Dato un campione sufficientemente grande, per esempio, si può scoprire che differenze estremamente piccole e non visibili sono statisticamente significative, ma la significatività statistica non dice niente di una significatività pratica di una differenza.
Uno dei problemi più comuni nel testare la significatività è la tendenza delle comparazioni multiple a tendere a significative differenze spurie anche dove l'ipotesi nulla è vera. Per esempio, in uno studio di venti comparazioni, usando un 
α-livello del 5%, una comparazione può effettivamente riportare un risultato significativo nonostante sia vera l'ipotesi di nullità. in questi casi i p-valori sono corretti al fine di controllare o il valore falso o l'errore familiare.
Un problema addizionale è che si ritiene che le analisi frequentiste dei p-valori esagerino la ""significatività statistica"". Si veda il fattore di Bayes per i dettagli.
J. Scott Armstrong, negli articoli "Significance Tests Harm Progress in Forecasting," e "Statistical Significance Tests are Unnecessary Even When Properly Done," espone la sua posizione secondo cui in alcuni casi, seppure eseguiti correttamente, i test di significatività statistica non sarebbero utili. A suo parere, un certo numero di tentativi ha fallito nel trovare prove empiriche che sostenessero l'uso di test di significatività, ed i test di significatività statistica usati da soli potrebbero essere nocivi allo sviluppo della conoscenza scientifica perché distrarrebbero i ricercatori dall'uso di metodi statistici in alcuni casi più adatti. 
Armstrong suggerisce quindi che secondo lui i ricercatori dovrebbero evitare i test di significatività statistica, e dovrebbero piuttosto fare uso di strumenti di area di effetto, intervalli di fiducia, ripetizioni/estensioni, e meta-analisi.
La significatività statistica può essere considerata come la fiducia che si ha in un dato risultato. In uno studio di comparazione, essa dipende dalla differenza relativa tra i gruppi confrontati, la quantità delle misurazioni e il rumore associato alle misurazioni. In altre parole, la fiducia che si ha che un dato risultato sia non casuale (cioè non una conseguenza di un caso) dipende dal rapporto segnale-rumore (SNR) e misura campione. Esprimendosi matematicamente, la fiducia che un risultato non sia casuale è dato dalla seguente formula di Sackett:
Per chiarezza, la succitata formula è rappresentata tabularmente qui di seguito.
Dipendenza della fiducia con rumore, segnale e misura campione (forma tabulare)
In parole la dipendenza di una fiducia è maggiore se il rumore è basso o la misura campione è estesa o l'ampiezza effettiva (del segnale) è larga. La fiducia di un risultato (e l'associato intervallo di fiducia) "non" dipende dagli effetti della sola ampiezza effettiva del segnale. Se la misura campione è grande e il rumore e piccolo un'ampiezza effettiva di segnale può essere misurata con grande fiducia. Sebbene un'ampiezza effettiva viene considerata importante essa dipende nel contesto degli eventi comparati.
In medicina, piccole ampiezze effettive (riflesse da piccoli aumenti di rischio) sono spesso considerate clinicamente rilevanti e sono frequentemente usati per guidare decisioni di trattamento (se c'è una grande fiducia in essi). Sebbene un dato trattamento è considerato un giusto tentativo esso dipende dai rischi, dai benefici e dai costi.


Il test di verifica d'ipotesi si utilizza per verificare la bontà di un'ipotesi.
Per ipotesi è da intendersi un'affermazione che ha come oggetto accadimenti nel mondo reale, che si presta ad essere confermata o smentita dai dati osservati sperimentalmente.
Il metodo con cui si valuta l'attendibilità di un'ipotesi è il metodo sperimentale. Quest'ultimo consiste nel determinare le conseguenze di un'ipotesi in termini di eventi osservabili, e di valutare se la realtà effettivamente osservata si accorda o meno con l'ipotesi su di essa fatta. 
A tal riguardo si distinguono due ambiti in cui tale attività si esplica:
Nell'ambito statistico, a seconda delle ipotesi si distingue tra:
Nel primo caso, si tende a pervenire a delle conclusioni più sicure possibili. Ad esempio volendo provare se in un circuito elettrico passa corrente si inserirà una lampadina o un amperometro e si constaterà l'accensione o l'attivazione dello strumento. In tal caso si perviene con maggior sicurezza alla conclusione. Se la lampadina si accende allora passa corrente; in caso contrario il circuito non è predisposto correttamente.
In questo ambito, se nel circuito passa corrente la maggior parte delle volte che si inserisce una lampadina questa si accende. In caso contrario il ripetuto inserimento della lampadina darà sempre esito negativo.
Nel secondo caso la situazione è modificata in quanto interviene un elemento nuovo, ovvero il caso e/o l'errore di misura. Si supponga di avere una moneta recante due facce contrassegnate con testa e croce. Volendo verificare l'ipotesi di bilanciamento della moneta si eseguono 20 lanci e si contano quelli che danno esito testa. La conseguenza del bilanciamento consiste nell'osservare un valore di teste attorno a 10. Tuttavia anche in ipotesi di bilanciamento non si può escludere di osservare 20 teste. D'altronde, l'ipotesi di bilanciamento è logicamente compatibile con un numero di teste variante da 0 a 20. In tale contesto una qualsiasi decisione in merito all'ipotesi da verificare comporta un rischio di errore. Ad esempio rigettare l'ipotesi di bilanciamento della moneta avendo osservato 20 teste su 20 lanci comporta il rischio di prendere una decisione errata. 
Nel procedere alla verifica dell'ipotesi di bilanciamento della moneta, si ricorre a una variabile casuale X. Tale variabile casuale X è una variabile aleatoria discreta con distribuzione binomiale B(20; 0,5), dove 20 indica il numero di lanci e 0,5 la probabilità che si verifichi l'evento "testa".
Il risultato sperimentale si deve quindi confrontare con tale distribuzione: quanto è distante tale risultato dal valore medio della distribuzione B(20; 0,5)? Per rispondere alla domanda si deve individuare un valore caratteristico della distribuzione B(20; 0,5). Nel nostro caso tale valore caratteristico è il valore medio 20/2 = 10. Per valutare la distanza tra il valore sperimentale e quello atteso si valuta la probabilità di ottenere un valore sperimentale lontano dal valore medio di B(20; 0,5), ossìa nel caso che dal nostro esperimento risulti X=15 (15 teste dopo 20 lanci), si calcola P{|X-10|>=15-10} quindi P{X<=5 oppure X>=15}=0,041.
Quindi, usando una moneta ben bilanciata, la probabilità di ottenere un numero di teste X >= 15 (oppure X <= 5) dopo 20 lanci è pari a 0,041 ossia al 4,1%. Giudicando bassa tale probabilità si rifiuterà l'ipotesi di bilanciamento della moneta in esame, accettando quindi il rischio del 4,1% di compiere un errore nel rifiutarla. Di solito, il valore della probabilità adottato per rifiutare l'ipotesi nulla è < 0,05. Tale valore è detto livello di significatività ed è definibile come segue: il livello di significatività sotto l'ipotesi nulla è la probabilità di cadere nella zona di rifiuto quando l'ipotesi nulla è vera. Tale livello di significatività si indica convenzionalmente con α. Il livello di significatività osservato α del test per il quale si rifiuterebbe l'ipotesi nulla è detto valore-p ("p-value"). Riprendendo l'esempio sopra riportato il valore-p è pari a 0,041.
Adottando nell'esempio α = 0,05, si rifiuterà l'ipotesi se P{|X-10|>=x}<0,05. Tale condizione si raggiunge appunto se X<6 oppure X>14. Tale insieme di valori si definisce convenzionalmente come regione di rifiuto. Viceversa l'insieme { 6,7…14} si definisce regione di accettazione. In questo modo si è costruita una regola di comportamento per verificare l'ipotesi di bilanciamento della moneta. Tale regola definisce il test statistico.
In termini tecnici l'ipotesi da verificare si chiama ipotesi nulla e si indica con "H", mentre l'ipotesi alternativa con "H". Nel caso della moneta, se "p" è la probabilità di ottenere testa in un lancio la verifica di ipotesi si traduce nel seguente sistema:
Come già osservato, il modo di condurre un test statistico comporta un rischio di errore. Nella pratica statistica si individuano due tipi di errori:
Tornando all'esempio della moneta in cui la regione di accettazione è data dall'insieme di valori {6..14}, la probabilità di rifiutare H quando è vera è stato calcolato pari a 0,041.Tale probabilità rappresenta il rischio di incorrere in un errore di primo tipo e si indica con α. Per valutare la probabilità di un errore di secondo tipo è necessario specificare un valore di "p" in caso di verità di H. Si supponga che p=0,80, in tal caso la distribuzione di X è una B(20;0,80)
Con tale distribuzione di probabilità, l'errore di tipo "2" si calcola sommando le probabilità relative ai valori di X della zona di accettazione, ciò supponendo H vera. Si trova quindi che la probabilità cercata è pari a circa 0,20. Tale probabilità quantifica il rischio di incorrere nell'errore di tipo "2." e si indica convenzionalmente con β. La quantità 1-β si chiama "potenza del test" ed esprime quindi la capacità di un test statistico di riconoscere la falsità di H quando questa è effettivamente falsa. La potenza del test trova applicazione nella pratica statistica in fase di pianificazione di un esperimento.
