Outro grande problema dos modelos atuais de IA é que eles são muito maiores do que precisam ser e, pior, crescem a cada ano. Um modelo de linguagem mais recente semelhante ao BERT, denominado GPT-2, tem 1,5 bilhão de pesos ou parâmetros em sua rede. Por outro lado, o GPT-3, que possui alto grau de precisão, tem 175 bilhões de pesos!
É natural que redes maiores levem a uma melhor precisão. Uma boa analogia para compreender porque toda a estrutura de um modelo de IA não é ativamente utilizada na predição de resultados é o que acontece no próprio cérebro humano, uma vez que nem todas as partes do cérebro são utilizadas para compreender um texto, por exemplo. A diferença está em que o cérebro biológico é muito mais eficiente em termos de energia do que os computadores.