
Una rete bayesiana (BN, "Bayesian network") è un modello grafico probabilistico che rappresenta un insieme di variabili stocastiche con le loro dipendenze condizionali attraverso l'uso di un grafo aciclico diretto (DAG). Per esempio una rete Bayesiana potrebbe rappresentare la relazione probabilistica esistente tra i sintomi e le malattie. Dati i sintomi, la rete può essere usata per calcolare la probabilità della presenza di diverse malattie.
Il termine "modello gerarchico" è talvolta considerato un particolare tipo di rete Bayesiana, ma non ha nessuna definizione formale. Qualche volta viene usato per modelli con tre o più livelli di variabili stocastiche; in altri casi viene usato per modelli con variabili latenti. Comunque in generale qualsiasi rete Bayesiana moderatamente complessa viene usualmente detta "gerarchica".
Formalmente le reti Bayesiane sono grafi diretti aciclici i cui nodi rappresentano variabili casuali in senso Bayesiano: possono essere quantità osservabili, variabili latenti, parametri sconosciuti o ipotesi. Gli archi rappresentano condizioni di dipendenza; i nodi che non sono connessi rappresentano variabili che sono condizionalmente indipendenti tra di loro. Ad ogni nodo è associata una funzione di probabilità che prende in input un particolare insieme di valori per le variabili del nodo genitore e restituisce la probabilità della variabile rappresentata dal nodo. Per esempio, se i genitori del nodo sono variabili booleane allora la funzione di probabilità può essere rappresentata da una tabella in cui ogni entry rappresenta una possibile combinazione di valori vero o falso che i suoi genitori possono assumere.
Esistono algoritmi efficienti che effettuano inferenza e apprendimento a partire dalle reti Bayesiane. Le reti Bayesiane che modellano sequenze di variabili che variano nel tempo sono chiamate reti Bayesiane dinamiche.
Matematicamente, una rete bayesiana è un grafo aciclico orientato in cui:
Una rete bayesiana rappresenta la distribuzione della probabilità congiunta di un insieme di variabili.


Il metodo della massima verosimiglianza, in statistica, è un procedimento matematico per determinare uno stimatore. Caso particolare della più ampia classe di metodi di stima basata sugli stimatori d'estremo, il metodo consiste nel massimizzare la funzione di verosimiglianza, definita in base alla probabilità di osservare una data realizzazione campionaria, condizionatamente ai valori assunti dai parametri statistici oggetto di stima. Il metodo è stato sviluppato, originariamente, dal genetista e statistico sir Ronald Fisher, tra il 1912 e il 1922.
Data una distribuzione di probabilità formula_1, con funzione di massa (o densità, se continua) di probabilità formula_2, caratterizzata da un parametro formula_3, dato un campione di dati osservati formula_4 di dimensione formula_5 si può calcolare la probabilità associata ai dati osservati:
D'altra parte, può darsi che il parametro formula_3 sia ignoto, sebbene sia noto che il campione è estratto dalla distribuzione formula_1. Un'idea per stimare formula_3 è allora utilizzare i dati a nostra disposizione: formula_4 per ottenere informazioni su formula_3. 
Il metodo della massima verosimiglianza ricerca il valore più "verosimile" di formula_3, ossia ricerca, all'interno dello spazio formula_13 di tutti i possibili valori di formula_3, il valore del parametro che "massimizza" la probabilità di aver ottenuto il campione dato. Da un punto di vista matematico, formula_15 o equivalentemente formula_16 è detta funzione di verosimiglianza, e lo stimatore di massima verosimiglianza è ottenuto come:
Al fine di illustrare il metodo della massima verosimiglianza, si consideri un campione formula_18 di variabili casuali identicamente e indipendentemente distribuite, con distribuzione normale: formula_19. La funzione di verosimiglianza associata è:
La massimizzazione della funzione di verosimiglianza è equivalente a massimizzarne il logaritmo:
I parametri formula_22 e formula_23 sono determinati risolvendo il problema di massimo:
Le condizioni del primo ordine per un massimo definiscono il seguente sistema di equazioni in formula_22 e formula_23:
dove i segni di apice sopra i parametri denotano i loro stimatori. Dalla prima equazione discende immediatamente lo stimatore di massima verosimiglianza per la media:
cioè la media campionaria. La varianza dello stimatore formula_30 è data dalla seguente espressione:
Sostituendo formula_30 nella seconda equazione, si ha lo stimatore di massima verosimiglianza per la varianza:
cioè la varianza campionaria. 
L'esempio è particolarmente calzante, perché consente di illustrare alcune proprietà degli stimatori di massima verosimiglianza. È immediato verificare la correttezza (o "unbiasedness") di formula_30:
D'altra parte, formula_36 non gode di tale proprietà. Ricordando che:
segue che:
Dunque formula_36 non è uno stimatore corretto; un tale stimatore sarebbe dato dalla statistica:
Val la pena d'altra parte di osservare che lo stimatore di massima verosimiglianza è comunque uno stimatore asintoticamente corretto; infatti:
In particolare, qualunque stimatore di massima verosimiglianza è asintoticamente corretto e asintoticamente normalmente distribuito. 
L'espressione per la varianza dello stimatore formula_36 è al di là degli scopi di questo esempio.
È interessante osservare che gli stimatori derivati in questa sezione sono identici a quelli ottenibili, nelle stesse condizioni, impiegando il metodo dei momenti; a scanso di equivoci, si precisa che i due metodi di ricerca degli stimatori non conducono necessariamente a individuare gli stessi stimatori in condizioni più generali.
Al di là dei problemi evidenziati negli esempi sopra, altre difficoltà, di portata più generale, possono essere associate agli stimatori di massima verosimiglianza. 
Il valore dello stimatore di massima verosimiglianza può non appartenere allo spazio dei parametri formula_13. Si consideri il caso di un campione formula_44 di v.c. identicamente e indipendentemente distribuite, con distribuzione di Poisson di parametro formula_45. La funzione di verosimiglianza associata è:
Così che la funzione di log-verosimiglianza risulta:
Lo stimatore di massima verosimiglianza sarebbe dunque formula_48. Si supponga tuttavia che formula_49; poiché formula_50, la stima ottenuta con il metodo della massima verosimiglianza non è ammissibile. 
A prima vista il problema potrebbe apparire un dettaglio matematico di scarso rilievo nella pratica; la sua portata nelle applicazioni è tuttavia più rilevante di quanto sembri. Restando nell'ambito dell'esempio testé esposto, si osservi che la variabile casuale poissoniana è spesso utilizzata come modello per il numero di arrivi a uno sportello, un ufficio, la fermata di un autobus, etc. (si tratta di un'applicazione della teoria delle code, che fa per la precisione riferimento al processo di Poisson); in tale contesto, formula_51 rappresenta il tasso atteso di arrivi per unità di tempo. È chiaro che ipotizzare formula_52 in qualche misura snatura il processo sotto esame: può darsi che, nell'intervallo di tempo corrispondente al campione utilizzato per la stima, nessun cliente sia arrivato allo sportello (nessun passeggero alla fermata dell'autobus, etc.); ciò non significa che ci si debba aspettare che nessun cliente (o passeggero, etc.) arrivi mai!
Lo stimatore di massima verosimiglianza, inoltre, "non è necessariamente unico". Si consideri, ad esempio, il caso di un campione formula_53 di variabili casuali identicamente e indipendentemente distribuite, aventi distribuzione uniforme sull'intervallo formula_54, con formula_55. La funzione di verosimiglianza associata è:
dove formula_57 denota la funzione indicatrice. Si supponga che il campione sia ordinato in modo tale che:
(tale ipotesi è lecita in quanto le formula_59 sono indipendentemente distribuite). È facile mostrare che:
Ne consegue che lo stimatore di massima verosimiglianza per formula_3 è unico se e solo se formula_62; diversamente, un numero infinito di valori dello stimatore formula_63 massimizza la funzione di verosimiglianza.
Se formula_63 è lo stimatore di massima verosimiglianza per il parametro formula_3, allora lo stimatore di massima verosimiglianza per formula_66 è formula_67, purché formula_68 sia una funzione biiettiva.
Gli stimatori di massima verosimiglianza, come illustrato negli esempi, possono essere distorti (cioè non corretti o all'inglese "biased"), anche in maniera consistente. D'altra parte essi sono asintoticamente corretti.
Gli stimatori di massima verosimiglianza non conseguono in generale il limite inferiore per la varianza stabilito dal risultato di Cramér-Rao, lo conseguono però asintoticamente, cioè la varianza si discosta dal limite inferiore di Cramér-Rao per una quantità infinitesima al crescere di "n". Gli stimatori di massima verosimiglianza sono inoltre asintoticamente normalmente distribuiti.
