Qual é a definição formal de um grande modelo de linguagem?
Embora o termo modelo de linguagem grande não tenha definição formal, muitas vezes se refere a modelos de aprendizagem profunda com uma contagem de parâmetros na ordem de bilhões ou mais. Os LLMs são modelos de propósito geral que se destacam em uma ampla gama de tarefas, em oposição a serem treinados para uma tarefa específica (como análise de sentimento, reconhecimento de entidade nomeada ou raciocínio matemático). A habilidade com que eles realizam tarefas e a gama de tarefas em que são capazes parece ser uma função da quantidade de recursos (dados, tamanho de parâmetro, poder computacional) dedicados a eles, de uma maneira que não depende de avanços adicionais no design. Embora treinados em tarefas simples, como prever a próxima palavra em uma frase, os modelos de linguagem neural com treinamento e contagens de parâmetros suficientes são capazes de capturar grande parte da sintaxe e da semântica da linguagem humana. Além disso, os grandes modelos de linguagem geral demonstram conhecimento considerável sobre o mundo e são capazes de "memorizar" uma grande quantidade de fatos durante o treinamento.
O termo modelo de linguagem grande (LLM) não tem uma definição formal, no entanto, muitas vezes se refere a modelos de aprendizado profundo com uma contagem de parâmetros na ordem de bilhões ou mais.