Towards deep semi supervised learning
L'apprentissage profond est une sous-discipline de l'intelligence artificielle en plein essor grâce à d'impressionnantes performances, obtenue durant la dernière décennie, dans divers domaines d'application de l'apprentissage machine. Le pré-entraînement non supervisé des réseaux de neurones constitue une composante essentielle de ce succès. L'investigation d'idées combinant l'apprentissage supervisé et non supervisé se présente donc comme une étape naturelle.  Le réseau de neurones à échelles est une récente architecture semi-supervisée ajoutant une composante non supervisée à la perte supervisée des réseaux profonds. Le modèle peut être compris comme étant une partie d'une juxtaposition d'autoencodeurs debruitant apprenant à reconstruire chaque couche. Pour ce faire, la reconstruction est atteinte en considérant une corruption de la couche présente grâce aux retours des couches supérieures.  Le présent mémoire entreprend une analyse et déconstruction systématique de la performance des réseaux de neurones à échelles. Ainsi, nous analysons dix-neuf variantes de l'architecture obtenues en isolant les différentes composantes du modèles. Dans les chapitres I et II, nous introduisons les fondamentaux des réseaux de neurones, leur entraînement par descente de gradient, et leurs applications à l'apprentissage des représentations.  Dans les chapitres III et IV,  nous offrons une comparaison exhaustive d'un grand nombre de variantes du réseau de neurones à échelles en contrôlant les hyper paramètres ainsi que la sélection d'ensemble de données. Au cours de notre investigation, nous découvrons certaines propriétés générales du modèle qui le distingue des habituels réseaux à propagation avant. Nous terminons par l'introduction d'une variante du réseau à échelles obtenant ainsi des résultats dépassant l'état de l'art actuel dans des tâches de classification supervisé et semi-supervisé sur la version invariante aux permutations de MNIST.
Réseaux de neurones Apprentissage automatique Apprentissage de représentations profondes Apprentissage de représentations Apprentissage non supervisé Apprentissage supervisé Apprentissage semi-supervisé Régularisation