**Closed-Book QA.** Closed-book QA tasks [652] test the acquired factual knowledge of LLMs from the pre-training corpus, where LLMs should answer the question only based on the given context without using external resources. For evaluating this ability, there are several datasets that can be leveraged, including Natural Questions [554], Web Questions [557], and TriviaQA [558], where the accuracy metric is widely adopted. Empirical results have revealed that LLMs can perform well in this setting and even match the performance of state-of-the-art open-domain QA systems [56]. Also, the performance of LLMs on closed-book QA tasks shows a scaling law pattern in terms of both model size and data size: scaling the parameters and training tokens can increase the capacity of LLMs and help them learn (or memorize) more knowledge from the pre-training data [56]. Further, under a similar parameter scale, LLMs with more pre-training data relevant to the evaluated tasks would achieve better performance [81]. Also, the closed-book QA setting provides a testbed for probing the accuracy of the factual knowledge encoded by LLMs. However, as shown in existing work [55], LLMs might perform less well on QA tasks relying on fine-grained knowledge, even when it exists in the pre-training data.
**Closed-Book QA.** Closed-book QA 과제 [652]는 LLMs가 사전 학습 코퍼스에서 습득한 사실적 지식을 테스트합니다. 여기서 LLMs는 외부 자원을 사용하지 않고 주어진 문맥에만 기반하여 질문에 답해야 합니다. 이 능력을 평가하기 위해 Natural Questions [554], Web Questions [557], TriviaQA [558]와 같은 여러 데이터셋이 활용될 수 있으며, 정확도 지표가 널리 채택됩니다. 실험 결과에 따르면, LLMs는 이 설정에서 잘 수행할 수 있으며, 심지어 최신 오픈 도메인 QA 시스템 [56]의 성능과 맞먹는 성과를 보일 수 있습니다. 또한, Closed-book QA 과제에서 LLMs의 성능은 모델 크기와 데이터 크기 모두에서 스케일링 법칙 패턴을 보입니다: 매개변수와 학습 토큰을 확장하면 LLMs의 용량이 증가하고 사전 학습 데이터에서 더 많은 지식을 학습(또는 기억)하는 데 도움이 됩니다 [56]. 더 나아가, 유사한 매개변수 규모에서 평가된 과제와 관련된 사전 학습 데이터가 더 많은 LLMs는 더 나은 성능을 달성할 수 있습니다 [81]. 또한, Closed-book QA 설정은 LLMs에 의해 인코딩된 사실적 지식의 정확성을 탐구하기 위한 테스트베드를 제공합니다. 그러나 기존 연구 [55]에서 보여지듯이, LLMs는 사전 학습 데이터에 존재하더라도 세밀한 지식에 의존하는 QA 과제에서는 성능이 떨어질 수 있습니다.
**폐쇄형 서두 QA**. 폐쇄형 서두 QA 작업[652]은 사전 학습 코퍼스에서 LLM의 사실적 지식을 습득하는 것을 테스트하는 것으로, LLM은 외부 리소스를 사용하지 않고 주어진 컨텍스트에만 기반하여 질문에 답해야 합니다. 이러한 능력을 평가하기 위해 Natural Questions[554], Web Questions[557], TriviaQA[558] 등 여러 데이터 세트를 활용할 수 있으며, 정확도 메트릭이 널리 채택되고 있습니다. 실험 결과에 따르면 LLM은 이 설정에서 우수한 성능을 발휘할 수 있으며 심지어 최신 오픈 도메인 QA 시스템의 성능과도 일치할 수 있습니다[56]. 또한 폐쇄형 서두 QA 작업에서 LLM의 성능은 모델 규모와 데이터 규모 측면에서 스케일링 법칙 패턴을 보여줍니다. 파라미터와 학습 토큰을 확장하면 LLM의 용량을 늘릴 수 있고 사전 학습 데이터에서 더 많은 지식을 학습(또는 암기)하는 데 도움이 될 수 있습니다[56]. 또한, 유사한 파라미터 규모에서 평가된 작업과 관련된 사전 학습 데이터가 더 많은 LLM이 더 나은 성능을 달성할 수 있습니다[81]. 또한 폐쇄형 서두 QA 설정은 LLM이 인코딩한 사실적 지식의 정확성을 테스트할 수 있는 테스트베드를 제공합니다. 그러나 기존 연구[55]에서와 같이, LLM은 사전 학습 데이터에 미세한 지식이 존재하더라도 QA 작업에서 성능이 떨어질 수 있습니다.