**Open-Book QA.** Unlike closed-book QA, in open-book QA tasks, LLMs can extract useful evidence from the external knowledge base or document collections, and then answer the question based on the extracted evidence [653, 654, 655]. Typical open-book QA datasets (_e.g.,_ Natural Questions [554], OpenBookQA [566], and SQuAD [569]) have overlap with closed-book QA datasets, but they incorporate external data sources, _e.g.,_ Wikipedia. The metrics of accuracy and F1 score are widely used in open-book QA tasks for evaluation. To select relevant knowledge from external resources, LLMs are often paired with a text retriever (or even a search engine), which is trained independently or jointly with LLMs [653, 657, 81]. Also, previous work [658, 659, 660] has indicated that retrievers can assist LLMs in verifying and rectifying the reasoning path. In evaluation, existing studies mainly focus on testing how LLMs utilize the extracted knowledge to answer the question and show that the retrieved evidence can largely improve the accuracy of the generated answers, even enabling a smaller LLM to outperform \(10\times\) larger ones [653, 657]. Further, open-book QA tasks can be also employed to evaluate the recency of knowledge information. Pre-training or retrieving from outdated knowledge resources may cause LLMs to generate incorrect answers for time-sensitive questions [653].
**Open-Book QA**. 폐쇄형 시험지 QA와 달리, Open-Book QA 과제에서는 LLMs이 외부 지식창고나 문서 컬렉션에서 유용한 증거를 추출한 다음, 추출한 증거를 바탕으로 질문에 답할 수 있습니다[653, 654, 655]. 일반적인 Open-Book QA 데이터 세트(_예: Natural Questions[554], OpenBookQA[566], SQuAD[569])는 폐쇄형 QA 데이터 세트와 겹치지만, 외부 데이터 소스(예: Wikipedia)를 통합합니다. 정확도와 F1 점수 메트릭은 평가를 위해 Open-Book QA 작업에서 널리 사용됩니다. 외부 리소스에서 관련 지식을 선택하기 위해 LLMs은 종종 텍스트 검색기(또는 검색 엔진)와 짝을 이루며, 이 검색기는 독립적으로 또는 LLMs과 공동으로 학습됩니다[653, 657, 81]. 또한 이전 연구[658, 659, 660]에 따르면 검색기는 LLMs이 추론 경로를 검증하고 수정하는 데 도움을 줄 수 있다고 합니다. 평가에서 기존 연구는 주로 LLMs이 추출한 지식을 활용하여 질문에 답하는 방법을 테스트하는 데 중점을 두었으며, 검색된 증거가 생성된 답변의 정확도를 크게 향상시켜 더 작은 LLMs이 10배 더 큰 LLMs보다 뛰어난 성능을 발휘할 수 있음을 보여주었습니다[653, 657]. 또한 Open-Book QA 과제는 지식 정보의 최신성을 평가하는 데에도 활용할 수 있습니다. 오래된 지식 리소스를 사전 학습하거나 검색하면 LLMs이 시간 민감한 질문에 대한 잘못된 답변을 생성할 수 있습니다[653].
**오픈북 QA**. 폐쇄형 시험지 QA와 달리, 오픈북 QA 과제에서는 LLM이 외부 지식창고나 문서 컬렉션에서 유용한 증거를 추출한 다음, 추출한 증거를 바탕으로 질문에 답할 수 있습니다[653, 654, 655]. 일반적인 오픈북 QA 데이터 세트(_예: 자연어 질문[554], 오픈북QA[566], SQuAD[569])는 폐쇄형 QA 데이터 세트와 겹치지만, 외부 데이터 소스(예: 위키피디아)를 통합합니다. 정확도와 F1 점수 메트릭은 평가를 위해 오픈북 QA 작업에서 널리 사용됩니다. 외부 리소스에서 관련 지식을 선택하기 위해 LLM은 종종 텍스트 검색기(또는 검색 엔진)와 짝을 이루며, 이 검색기는 독립적으로 또는 LLM과 공동으로 학습됩니다[653, 657, 81]. 또한 이전 연구[658, 659, 660]에 따르면 검색기는 LLM이 추론 경로를 검증하고 수정하는 데 도움을 줄 수 있다고 합니다. 평가에서 기존 연구는 주로 LLM이 추출한 지식을 활용하여 질문에 답하는 방법을 테스트하는 데 중점을 두었으며, 검색된 증거가 생성된 답변의 정확도를 크게 향상시켜 더 작은 LLM이 10배 더 큰 LLM보다 뛰어난 성능을 발휘할 수 있음을 보여주었습니다[653, 657]. 또한 오픈북 QA 과제는 지식 정보의 최신성을 평가하는 데에도 활용할 수 있습니다. 오래된 지식 리소스를 사전 학습하거나 검색하면 LLM이 시간 민감한 질문에 대한 잘못된 답변을 생성할 수 있습니다[653].