
Il boosting è una tecnica di machine learning che rientra nella categoria dell'Apprendimento ensemble. Nel boosting più modelli vengono generati consecutivamente dando sempre più peso agli errori effettuati nei modelli precedenti. In questo modo si creano modelli via via più "attenti" agli aspetti che hanno causato inesattezze nei modelli precedenti, ottenendo infine un modello aggregato avente migliore accuratezza di ciascun modello che lo costituisce.
In algoritmi come Adaboost, l'output del meta-classificatore è dato dalla somma pesata delle predizioni dei singoli modelli. Ogni qual volta un modello viene addestrato, ci sarà una fase di ripesaggio delle istanze. L'algoritmo di boosting tenderà a dare un peso maggiore alle istanze misclassificate, nella speranza che il successivo modello sia più esperto su quest'ultime.
In generale si ha che l'errore di predizione in un problema di apprendimento supervisionato è dato da:
formula_1
Il boosting mira a ridurre la varianza.


L'Apprendimento ensemble (apprendimento d'insieme) in statistica e apprendimento automatico sono una serie di metodi d'insieme che usano modelli multipli per ottenere una migliore prestazione predittiva rispetto ai modelli da cui è costituito.
A differenza dell'Insieme statistico che si ritiene infinito, in meccanica statistica, in un insieme di apprendimento automatico ci si riferisce solo ad un insieme concreto e finito di modelli alternativi.
Nel machine learning l'apprendimento ensemble si divide in tre tecniche fondamentali:
