L'article "Attention is all you need" a proposé pour la première fois le modèle Transformer, qui a eu un impact profond sur le LLM qui a suivi. Cite l'idée principale de Transformer décrite dans cet article.
The paper "Attention is all you need" proposed the Transformer model for the first time, which had a profound impact on the subsequent LLM. Please give the main core idea of Transformer described in this paper
This paper is by Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia. and published in 2017. It laid the foundation for the subsequent GPT series of models and BERT series of models. The GPT model uses the decoder part of Transfomer, while the BERT model uses the encoder part of Transfomer. The main core architecture of the Transformer model includes: Self-Attention Mechanism, Positional Encoding, Encoder-Decoder Architecture, Multi-Head Attension.
Transformer effectively solves the difficult parallel problem of the previous RNN/LSTM model by using the Attention mechanism. Using Self-Attention solves the problem of limited labeled data in NLP. The sequence information in the input text is preserved through Positional Encoding. And Multi-Head Attention allows Transformer to learn different patterns of training data similar to Channel concept in CNN model.
Cet article a été rédigé par Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia et publié en 2017. Il a jeté les bases de la série de modèles GPT et de la série de modèles BERT qui ont suivi. Le modèle GPT utilise la partie décodeur de Transfomer, tandis que le modèle BERT utilise la partie codeur de Transfomer. L'architecture principale du modèle Transformer comprend : Mécanisme d'auto-attension, codage positionnel, architecture codeur-décodeur, Attension multi-têtes.
Transformer résout efficacement le difficile problème de parallélisme du modèle RNN/LSTM précédent en utilisant le mécanisme d'attention. L'utilisation de l'auto-attention résout le problème des données étiquetées limitées dans le NLP. Les informations de séquence dans le texte d'entrée sont préservées grâce à l'encodage positionnel. L'attention multi-têtes permet à Transformer d'apprendre différents modèles de données d'entraînement, à l'instar du concept de canal dans le modèle CNN.
summarization
Un transformateur est un modèle d'apprentissage profond qui adopte le mécanisme d'auto-attention, en pondérant de manière différentielle l'importance de chaque partie des données d'entrée. Il est principalement utilisé dans les domaines du traitement du langage naturel (NLP) et de la vision par ordinateur (CV).

Comme les réseaux neuronaux récurrents (RNN), les transformateurs sont conçus pour traiter des données d'entrée séquentielles, telles que le langage naturel, avec des applications pour des tâches telles que la traduction et le résumé de texte. Toutefois, contrairement aux RNN, les transformateurs traitent l'ensemble des données d'entrée en une seule fois. Le mécanisme d'attention fournit un contexte pour toute position dans la séquence d'entrée. Par exemple, si les données d'entrée sont une phrase en langage naturel, le transformateur n'a pas besoin de traiter un mot à la fois. Cela permet une plus grande parallélisation que les RNN et réduit donc les temps de formation.

Les transformateurs ont été introduits en 2017 par une équipe de Google Brain et deviennent de plus en plus le modèle de choix pour les problèmes de NLP, remplaçant les modèles RNN tels que la mémoire à long terme (LSTM). La parallélisation supplémentaire de l'entraînement permet de s'entraîner sur des ensembles de données plus importants. Cela a conduit au développement de systèmes pré-entraînés tels que BERT (Bidirectional Encoder Representations from Transformers) et GPT (Generative Pre-trained Transformer), qui ont été entraînés avec de grands ensembles de données linguistiques, tels que le corpus Wikipédia et le Common Crawl, et qui peuvent être affinés pour des tâches spécifiques.
fr