O artigo "Attention is all you need" propôs pela primeira vez o modelo Transformer, que teve um impacto profundo no LLM subsequente.
Um transformador é um modelo de aprendizado profundo que adota o mecanismo de auto-atenção, ponderando diferencialmente a importância de cada parte dos dados de entrada. Ele é usado principalmente nos campos do processamento de linguagem natural (PNL) e visão computacional (CV). Como redes neurais recorrentes (RNNs), os transformadores são projetados para processar dados de entrada sequenciais, como linguagem natural, com aplicações para tarefas como tradução e resumo de texto. No entanto, ao contrário dos RNNs, os transformadores processam toda a entrada de uma só vez. O mecanismo de atenção prevê qualquer posição na sequência de entrada. Por exemplo, se os dados de entrada são uma frase de linguagem natural, o transformador não precisa processar uma palavra de cada vez. Isso permite mais paralelização do que os RNNs e, portanto, reduz os tempos de treinamento.
Este artigo é de Vaswani, Ashish & Shazeer, Noam & Parmar, Niki & Uszkoreit, Jakob & Jones, Llion & Gomez, Aidan & Kaiser, Lukasz & Polosukhin, Illia. e publicado em 2017. Ele lançou as bases para a sequência subsequente de modelos GPT e série de modelos BERT. O modelo GPT usa a parte descodificadora do Transfomer, enquanto o modelo BERT usa a parte codificadora do Transfomer. A principal arquitetura do modelo Transformer inclui: Mecanismo de Autoatendência, Codificação Positiva, Arquitetura de Codificador-Decodificador, Multi-Head Attension. Transformer efetivamente resolve o difícil problema de paralelos do modelo anterior RNN / LTS TM usando o mecanismo de atenção. Usando Autoatendência, resolve o problema de dados limitados rotulados em PNL. A sequência de informações no texto é preservada através da entrada de informações de codificação de canal de entrada de múltiplas cabeças e permite aprender padrões semelhantes de treinamento de padrões de dados no modelo CNN Transformer.