Étude de modèles neuronaux de questions-réponses
Dans le domaine du traitement automatique du langage naturelle, la tâche question-réponse (Question-Answer (QA)) consistant à développer des systèmes générant une réponse plausible à une question posée en langage naturel par un utilisateur depuis une source d’information, demeure d’actualité. Elle présente de nombreuses applications pratiques dont la recherche affinée d’information sur le web. Aujourd’hui, suite à une requête, les moteurs de recherche actuels retournent des listes classées de documents mais ils ne fournissent pas de réponse à la question de l’utilisateur.   Depuis plus de cinquante ans, différentes approches et technologies ont été développées, qui ont mené à des avancées significatives en QA. Parmi celles-ci, les embeddings de mots, des vecteurs numériques représentant la signification des mots dans des contextes, des ensembles de données modèles et l’utilisation de réseaux neuronaux (RN) ont permis le développement de systèmes QA performants.  Dans ce contexte, ce mémoire a porté sur l’étude du modèle BIDAF (Bidirectional Attention Flow), un des systèmes QA à base de RN les plus performants au début de ces travaux, testé au moyen de SQuAD (Stanford Question Answering Dataset), un des benchmarks les plus populaires en QA. L’étude initiale de BIDAF a démontré un certain nombre de différences structurelles notables entre sa description littéraire et son implémentation. Différentes variantes de BIDAF ont donc été développées et testées auxquelles on a ajouté l’entraînement des embeddings de mots durant l’entraînement du modèle ainsi que la modulation cyclique du taux d’apprentissage.   Les modèles de structures similaires à la description littéraire de BIDAF avec entraînement des embeddings de mots et une version simplifiée ont démontré de meilleures performances, soit de 59.56% en exact match (EM) et 67.09% en F1,  et        EM = 60.20% et F1 = 67.69%, respectivement. Cette performance a été améliorée par la modulation du taux d’apprentissage à EM = 61.42% et F1 = 68.46%.
Tâche question-réponse embeddings réseaux neuronaux BIDAF