Difference target propagation
L'algorithme de r etropropagation a  et e le cheval de bataille du succ es r ecent de l'apprentissage profond, mais elle s'appuie sur des e ets in nit esimaux (d eriv ees partielles) a n d'e ectuer l'attribution de cr edit. Cela pourrait devenir un probl eme s erieux si l'on consid ere des fonctions plus profondes et plus non lin eaires, avec  a l'extr^eme la non-lin earit e o u la relation entre les param etres et le co^ut est r eellement discr ete. Inspir ee par la pr esum ee invraisemblance biologique de la r etropropagation, cette th ese propose une nouvelle approche, Target Propagation. L'id ee principale est de calculer des cibles plut^ot que des gradients  a chaque couche, en faisant en sorte que chaque paire de couches successive forme un auto-encodeur. Nous montrons qu'une correction lin eaire, appel ee Di erence Target Propaga- tion, est tr es e cace, conduisant  a des r esultats comparables  a la r etropropagation pour les r eseaux profonds avec des unit es discr etes et continues et des auto- encodeurs et atteignant l' etat de l'art pour les r eseaux stochastiques.
Target propagation Réseaux  de  neurones Apprentissage  automatique Optimisation Régle d’apprentissage Régle d’apprentissage biologiquement plausible