Qual é a principal diferença entre transformador apenas com descodificador e transformador apenas com codificador?
A principal diferença é que o transformador de codificador só olha para a sequência de entrada de ambas as direções, tanto na frente quanto na parte de trás, o que significa que eles podem entender melhor as relações entre cada token na sequência. Por outro lado, o transformador de decodificador só olha para uma direção da entrada, o que significa que eles são mais adequados para tarefas de linguagem autoregressivas, como a geração de texto.