
Una rete neurale feed-forward ("rete neurale con flusso in avanti") o rete feed-forward è una rete neurale artificiale dove le connessioni tra le unità non formano cicli, differenziandosi dalle reti neurali ricorrenti. Questo tipo di rete neurale fu la prima e più semplice tra quelle messe a punto. In questa rete neurale le informazioni si muovono solo in una direzione, avanti, rispetto a nodi d'ingresso, attraverso nodi nascosti (se esistenti) fino ai nodi d'uscita. Nella rete non ci sono cicli. Le reti feed-forward non hanno memoria di input avvenuti a tempi precedenti, per cui l'output è determinato solamente dall'attuale input.
La più semplice rete feed-forward è il "percettrone a singolo strato" (SLP dall'inglese single layer perceptron), utilizzato verso la fine degli anni '60. Un SLP è costituito da un strato in ingresso, seguito direttamente dall'uscita. Ogni unità di ingresso è collegata ad ogni unità di uscita. In pratica questo tipo di rete neurale ha un solo strato che effettua l'elaborazione dei dati, e non presenta nodi nascosti, da cui il nome.
Gli SLP sono molto limitati a causa del piccolo numero di connessioni e dell'assenza di gerarchia nelle caratteristiche che la rete può estrarre dai dati (questo significa che è capace di combinare i dati in ingresso una sola volta). Famosa fu la dimostrazione che un SLP non riesce neanche a rappresentare la funzione XOR. Questo risultato, apparso nel 1969, scoraggiò i ricercatori e bloccò la ricerca sulle reti neurali per diversi anni.
Questa classe di reti feedforward si distingue dalla precedente dal fatto che tra lo strato di input e quello di output abbiamo uno o più strati di neuroni nascosti (hidden layers). Ogni strato ha connessioni entranti dal precedente strato e uscenti in quello successivo, quindi la propagazione del segnale avviene in avanti senza cicli e senza connessioni trasversali.
Questo tipo di architettura fornisce alla rete una prospettiva globale in quanto aumentano le interazioni tra neuroni.


In matematica, una funzione di densità di probabilità (o PDF dall'inglese "probability density function") è l'analogo della funzione di probabilità di una variabile casuale nel caso in cui la variabile casuale formula_1 sia continua, cioè l'insieme dei possibili valori che ha la potenza del continuo.
Essa descrive la "densità" di probabilità in ogni punto nello spazio campionario.
La funzione di densità di probabilità di una variabile casuale formula_1 è un'applicazione formula_3 non negativa integrabile secondo Lebesgue e reale di variabile reale tale che la probabilità dell'insieme "A" sia data da
per tutti i sottinsiemi "A" dello spazio campionario.
Intuitivamente, se una distribuzione di probabilità ha densità formula_3, allora l'intervallo formula_6 ha probabilità formula_7. Da ciò deriva che la funzione formula_3 è un'applicazione definita come
Assumendo formula_10, ciò corrisponde al limite della probabilità che formula_11 si trovi nell'intervallo formula_6 per formula_13 che tende a zero. Di qui il nome di funzione di 'densità', in quanto essa rappresenta il rapporto tra una probabilità e un'ampiezza.
Per la condizione di normalizzazione l'integrale su tutto lo spazio di formula_3 deve essere 1. Di conseguenza ogni funzione non negativa, integrabile secondo Lebesgue, con integrale su tutto lo spazio uguale a 1, è la funzione densità di probabilità di una ben definita distribuzione di probabilità. Una variabile casuale che possiede densità si dice "variabile casuale continua".
Per le variabili casuali multivariate (o vettoriali) la trattazione formale è assolutamente identica: formula_15 si dice assolutamente continua se esiste una funzione a valori reali definita in formula_16, detta densità congiunta, tale che per ogni sottoinsieme "A" dello spazio campionario
Essa conserva tutte le proprietà di una densità scalare: è una funzione non negativa a integrale unitario su tutto lo spazio. Una proprietà importante è che se formula_15 è assolutamente continua allora lo è ogni sua componente; il viceversa invece non vale. La densità di una componente, detta densità marginale, si ottiene con un ragionamento analogo al teorema della probabilità assoluta, cioè fissando l'insieme di suoi valori di cui si vuole determinare la probabilità e lasciando libere di variare tutte le altre componenti. Infatti (nel caso bivariato per semplicità) l'evento formula_19 è l'evento formula_20, dunque
utilizzando il teorema di Fubini. La densità marginale di formula_1 è data dunque da
La funzione di densità della variabile casuale normale di media 0
e varianza 1 (detta "normale standard"), di cui a destra è riportato il grafico e l'espressione analitica della corrispondente densità nel caso generico (media formula_24 e varianza formula_25).
Un altro esempio può essere dato dalla densità di probabilità uniforme su un segmento (0,1). Si può verificare immediatamente che è densità di probabilità facendo l'integrale tra (0,1).
