On the other hand, as models keep scaling, the world knowledge encoded in their parameters does too [16]. Many previous efforts have shown that language models are able to memorize a significant amount of world knowledge and achieve competitive performance on tasks such as open-domain question answering when they just use their parametric knowledge for solving the task [20, 1, 34, 35].
반면, 모델의 규모가 커짐에 따라 파라미터에 인코딩된 세계 지식도 커진다 [16]. 이전의 많은 노력들은 Large Language Models (LLMs)이 상당한 양의 세계 지식을 암기하고, 작업을 해결하는 데 파라메트릭 지식을 사용할 때 open-domain question answering과 같은 작업에서 경쟁력 있는 성능을 달성할 수 있음을 보여주었다 [20, 1, 34, 35].
반면, 모델의 규모가 커짐에 따라 파라미터에 인코딩된 세계 지식도 커진다 [16]. 이전의 많은 노력들은 언어 모델이 상당한 양의 세계 지식을 암기하고, 작업을 해결하는 데 파라메트릭 지식을 사용할 때 개방형 도메인 질문 답변과 같은 작업에서 경쟁력 있는 성능을 달성할 수 있음을 보여주었다 [20, 1, 34, 35].