Quelle est la principale différence entre un transformateur de décodage et un transformateur d'encodage ?
What is the main difference between decoder only transformer and encoder only transformer?
The main difference is that the encoder-only transformer looks at the input sequence from both directions, both front and the back, this means they can better understand the relationships between each token in the sequence. On the other hand, the decoder-only transformer only look at one direction of the input, which means they are better suited for autoregressive language tasks such as text generation.
La principale différence réside dans le fait que le transformateur de codage uniquement examine la séquence d'entrée dans les deux directions, l'avant et l'arrière, ce qui signifie qu'il peut mieux comprendre les relations entre chaque élément de la séquence. En revanche, le transformateur décodeur ne regarde qu'une seule direction de l'entrée, ce qui signifie qu'il est mieux adapté aux tâches de langage autorégressif telles que la génération de texte.
general_qa
fr