Knowledge utilization is an important ability of intelligent systems to accomplish knowledge-intensive tasks (_e.g.,_ commonsense question answering and fact completion) based on supporting factual evidence. Concretely, it requires LLMs to properly utilize the rich factual knowledge from the pre-training corpus or retrieve external data when necessary. In particular, question answering (QA) and knowledge completion have been two commonly used tasks for evaluating this ability. According to the test tasks (question answering or knowledge completion) and evaluation settings (_with_ or _without_ external resources), we categorize existing knowledge utilization tasks into three types, namely closed-book QA, open-book QA43, and knowledge completion.
지식 활용은 지식 집약적인 작업(예: 상식 question answering 및 fact completion)을 지원하는 사실적 증거를 기반으로 수행하는 지능형 시스템의 중요한 능력입니다. 구체적으로, 이를 위해서는 LLM이 사전 학습 코퍼스에서 풍부한 사실적 지식을 적절히 활용하거나 필요한 경우 외부 데이터를 검색해야 합니다. 특히 question answering (QA)과 knowledge completion은 이러한 능력을 평가하는 데 일반적으로 사용되는 두 가지 작업입니다. 테스트 작업(question answering 또는 knowledge completion)과 평가 설정(_외부 리소스가 있거나 없는 경우_)에 따라 기존 지식 활용 작업을 closed-book QA, open-book QA43, knowledge completion의 세 가지 유형으로 분류합니다.
지식 활용은 지식 집약적인 작업(예: 상식 질문 답변 및 사실 완성)을 지원하는 사실적 증거를 기반으로 수행하는 지능형 시스템의 중요한 능력입니다. 구체적으로, 이를 위해서는 LLM이 사전 학습 코퍼스에서 풍부한 사실적 지식을 적절히 활용하거나 필요한 경우 외부 데이터를 검색해야 합니다. 특히 질문 답변(QA)과 지식 완성은 이러한 능력을 평가하는 데 일반적으로 사용되는 두 가지 작업입니다. 테스트 작업(질문 답변 또는 지식 완성)과 평가 설정(_외부 리소스가 있거나 없는 경우_)에 따라 기존 지식 활용 작업을 폐쇄형 서책 QA, 개방형 서책 QA43, 지식 완성의 세 가지 유형으로 분류합니다.