Compte tenu de ces paragraphes sur les grands modèles de langage, combien de mots le BookCorpus contenait-il lorsqu'il a été utilisé pour entraîner le premier modèle de la série GPT d'OpenAI formé en 2018 ?
Given these paragraphs about Large language models, how many words did the BookCorpus have when it was used to train the first model in OpenAI's GPT series trained in 2018?
985 million words.
985 millions de mots.
closed_qa
Un grand modèle linguistique (LLM) est un modèle linguistique composé d'un réseau neuronal avec de nombreux paramètres (généralement des milliards de poids ou plus), formé sur de grandes quantités de texte non étiqueté à l'aide d'un apprentissage auto-supervisé. Les LLM sont apparus vers 2018 et donnent de bons résultats dans une grande variété de tâches. Cela a modifié l'orientation de la recherche sur le traitement du langage naturel par rapport au paradigme précédent, qui consistait à former des modèles supervisés spécialisés pour des tâches spécifiques.

Propriétés
Bien que le terme "grand modèle de langage" n'ait pas de définition formelle, il fait souvent référence à des modèles d'apprentissage profond ayant un nombre de paramètres de l'ordre de plusieurs milliards ou plus. Les LLM sont des modèles à usage général qui excellent dans un large éventail de tâches, par opposition à ceux qui sont formés pour une tâche spécifique (comme l'analyse des sentiments, la reconnaissance des entités nommées ou le raisonnement mathématique). La compétence avec laquelle ils accomplissent des tâches et la gamme de tâches dont ils sont capables semblent être fonction de la quantité de ressources (données, taille des paramètres, puissance de calcul) qui leur sont consacrées, d'une manière qui ne dépend pas de percées supplémentaires dans la conception.

Bien qu'entraînés sur des tâches simples du type prédire le mot suivant dans une phrase, les modèles de langage neuronaux avec un entraînement et un nombre de paramètres suffisants sont capables de capturer une grande partie de la syntaxe et de la sémantique du langage humain. En outre, les grands modèles de langage font preuve d'une connaissance générale considérable du monde et sont capables de "mémoriser" une grande quantité de faits au cours de la formation.

Hallucinations
Article principal : Hallucination (intelligence artificielle)
En intelligence artificielle en général, et dans les grands modèles de langage en particulier, une "hallucination" est une réponse confiante qui ne semble pas être justifiée par les données de formation du modèle.

Capacités émergentes

Dans un certain nombre de tests de référence en langage naturel impliquant des tâches telles que la réponse à des questions, les modèles ne sont pas plus performants que le hasard jusqu'à ce qu'ils atteignent une certaine échelle (dans ce cas, mesurée par le calcul d'entraînement), à partir de laquelle leurs performances augmentent fortement. Il s'agit là d'exemples de capacités émergentes.
Les capacités imprévisibles qui ont été observées dans les grands modèles de langage mais qui n'étaient pas présentes dans les modèles plus simples (et qui n'ont pas été explicitement conçues dans le modèle) sont généralement appelées "capacités émergentes". Les chercheurs notent que ces capacités "ne peuvent pas être prédites en extrapolant simplement les performances de modèles plus petits". Ces capacités sont découvertes plutôt que programmées ou conçues, dans certains cas seulement après que le LLM a été déployé publiquement. Des centaines de capacités émergentes ont été décrites. Parmi les exemples, citons l'arithmétique à plusieurs étapes, la passation d'examens de niveau universitaire, l'identification de la signification d'un mot, le déclenchement d'une chaîne de pensée, le décodage de l'alphabet phonétique international, le décodage des lettres d'un mot, l'identification du contenu offensant dans des paragraphes de hinglish (une combinaison d'hindi et d'anglais) et la génération d'un équivalent anglais similaire de proverbes kiswahilis.

Architecture et formation
Les grands modèles de langage ont le plus souvent utilisé l'architecture de transformateur, qui, depuis 2018, est devenue la technique d'apprentissage profond standard pour les données séquentielles (auparavant, les architectures récurrentes telles que le LSTM étaient les plus courantes). Les LLM sont entraînés de manière non supervisée sur du texte non annoté. Un transformateur gauche-droite est formé pour maximiser la probabilité attribuée au mot suivant dans les données d'apprentissage, compte tenu du contexte précédent. Alternativement, un LLM peut utiliser un transformateur bidirectionnel (comme dans l'exemple de BERT), qui assigne une distribution de probabilité sur les mots étant donné l'accès au contexte précédent et suivant. Outre la tâche de prédiction du mot suivant ou de "remplissage des blancs", les LLM peuvent être formés à des tâches auxiliaires qui testent leur compréhension de la distribution des données, telles que la prédiction de la phrase suivante (NSP), dans laquelle des paires de phrases sont présentées et le modèle doit prédire si elles apparaissent côte à côte dans le corpus d'apprentissage.

Les premiers LLM ont été entraînés sur des corpus contenant des milliards de mots. Le premier modèle de la série GPT d'OpenAI a été entraîné en 2018 sur BookCorpus, composé de 985 millions de mots. La même année, BERT a été entraîné sur une combinaison de BookCorpus et de Wikipedia anglais, totalisant 3,3 milliards de mots. Depuis lors, les corpus d'entraînement pour les LLM ont augmenté de plusieurs ordres de grandeur, atteignant des centaines de milliards ou des trillions de mots.

La formation des LLM est coûteuse en termes de calcul. Une étude réalisée en 2020 a estimé à 1,6 million de dollars le coût de l'apprentissage d'un modèle à 1,5 milliard de paramètres (1 à 2 ordres de grandeur de moins que l'état de l'art à l'époque).

Une analyse réalisée en 2020 a montré que la capacité des modèles de langage neuronaux (mesurée par la perte d'entraînement) augmentait régulièrement selon une loi de puissance en fonction du nombre de paramètres, de la quantité de données d'entraînement et des calculs utilisés pour l'entraînement. Ces relations ont été testées sur une large gamme de valeurs (jusqu'à sept ordres de grandeur) et aucune atténuation de la relation n'a été observée à l'extrémité supérieure de la gamme (y compris pour des tailles de réseau allant jusqu'à des billions de paramètres).

Application aux tâches en aval
Entre 2018 et 2020, la méthode standard pour exploiter un LLM pour une tâche spécifique de traitement du langage naturel (NLP) consistait à affiner le modèle avec une formation supplémentaire spécifique à la tâche. Par la suite, il a été constaté que des LLM plus puissants, tels que le GPT-3, pouvaient résoudre des tâches sans formation supplémentaire grâce à des techniques d'"incitation", dans lesquelles le problème à résoudre est présenté au modèle sous la forme d'une invite textuelle, éventuellement accompagnée d'exemples textuels de problèmes similaires et de leurs solutions.

Mise au point
Article principal : Ajustement (apprentissage automatique)
Le réglage fin est la pratique qui consiste à modifier un modèle de langage pré-entraîné existant en l'entraînant (de manière supervisée) à une tâche spécifique (par exemple, l'analyse des sentiments, la reconnaissance des entités nommées ou l'étiquetage de la partie du discours). Il s'agit d'une forme d'apprentissage par transfert. Elle implique généralement l'introduction d'un nouvel ensemble de poids reliant la couche finale du modèle de langage à la sortie de la tâche en aval. Les poids originaux du modèle de langage peuvent être "gelés", de sorte que seule la nouvelle couche de poids les reliant à la sortie est apprise au cours de la formation. Les poids d'origine peuvent également recevoir de petites mises à jour (les couches précédentes étant éventuellement gelées).

Invitation
Voir aussi : Ingénierie des messages-guides et Apprentissage à court terme (traitement du langage naturel)
Dans le paradigme de l'invite, popularisé par le GPT-3, le problème à résoudre est formulé au moyen d'une invite textuelle, que le modèle doit résoudre en fournissant une complétion (par inférence). Dans le cas d'une "invite à quelques reprises", l'invite comprend un petit nombre d'exemples de paires similaires (problème, solution). Par exemple, une tâche d'analyse des sentiments consistant à étiqueter le sentiment d'une critique de film pourrait être formulée comme suit :

Critique : Ce film est nul.
Sentiment : négatif

Critique : Ce film est fantastique ! Ce film est fantastique !
Sentiment :

Si le modèle produit un résultat "positif", cela signifie qu'il a correctement résolu la tâche. Dans le cas d'une invite zéro, aucun exemple de résolution n'est fourni. Pour la même tâche d'analyse du sentiment, un exemple d'invite à zéro coup serait "Le sentiment associé à la critique du film "Ce film est fantastique" est".

Il a été démontré que les performances des LLM à quelques coups de feu permettent d'obtenir des résultats compétitifs dans les tâches de NLP, dépassant parfois les approches de réglage fin de l'état de l'art. La traduction, la réponse à des questions, les tâches de cloisonnement, le décodage de mots et l'utilisation d'un nouveau mot dans une phrase sont des exemples de ces tâches de TAL. La création et l'optimisation de ces messages-guides sont appelées ingénierie des messages-guides.

Ajustement des instructions
L'ajustement des instructions est une forme de réglage fin conçu pour faciliter des interactions plus naturelles et plus précises avec les messages-guides à tirage nul. Étant donné un texte, un modèle de langage pré-entraîné génère une réponse qui correspond à la distribution du texte sur lequel il a été entraîné. Un modèle de langage naïf recevant l'invite "Rédigez un essai sur les principaux thèmes de Hamlet" pourrait fournir une réponse telle que "Une pénalité de retard de 10 % par jour sera appliquée aux envois reçus après le 17 mars". Lors de l'ajustement des instructions, le modèle de langage est entraîné sur de nombreux exemples de tâches formulées sous forme d'instructions en langage naturel, ainsi que sur les réponses appropriées. Diverses techniques de réglage des instructions ont été appliquées dans la pratique. Le protocole InstructGPT d'OpenAI implique un réglage fin supervisé sur un ensemble de paires (invite, réponse) générées par des humains, suivi d'un apprentissage par renforcement à partir du feedback humain (RLHF), dans lequel une fonction de récompense a été apprise sur la base d'un ensemble de données de préférences humaines. Une autre technique, l'"auto-instruction", permet d'affiner le modèle linguistique sur un ensemble d'exemples d'apprentissage qui sont eux-mêmes générés par un LLM (à partir d'un petit ensemble initial d'exemples générés par l'homme).

https://en.wikipedia.org/wiki/Large_language_model
fr