**Knowledge Completion.** In knowledge completion tasks, LLMs might be (to some extent) considered as a knowledge base [576], which can be leveraged to complete or predict the missing parts of knowledge units (_e.g._, knowledge triples). Such tasks can probe and evaluate _how much_ and _what kind of_ knowledge LLMs have learned from the pre-training data. Existing knowledge completion tasks can be roughly divided into knowledge graph completion tasks (_e.g._, FB15k-237 [572] and WN18RR [574]) and fact completion tasks (_e.g._, WikiFact [571]), which aim to complete the triples from a knowledge graph and incomplete sentences about specific facts, respectively. Empirical studies have revealed that it is difficult for existing LLMs to accomplish knowledge completion tasks related to specific relation types [520]. As shown in the evaluation results on WikiFact, LLMs perform well on several frequent relations that occur in the pre-training data (_e.g._, currency and author), while not well on rare ones (_e.g._, discoverer_or_inventor and place_of_birth). Interestingly, under the same evaluation settings (_e.g._, in-context learning), InstructGPT (_i.e._, text-davinci-002) outperforms GPT-3 in all subsets of WikiFact.
**Knowledge Completion**. 지식 완성 작업에서 LLM은 (어느 정도) 지식 베이스 [576]로 간주될 수 있으며, 이를 활용하여 지식 단위의 누락된 부분(_예: 지식 트리플)을 완성하거나 예측할 수 있습니다. 이러한 작업은 LLM이 사전 학습 데이터에서 얼마나 많은 양의 지식을 학습했는지, 어떤 종류의 지식을 학습했는지를 탐색하고 평가할 수 있습니다. 기존의 지식 완성 작업은 지식 그래프에서 트리플을 완성하는 지식 그래프 완성 작업(_예: FB15k-237 [572] 및 WN18RR [574])과 특정 사실에 대한 불완전한 문장을 완성하는 사실 완성 작업(_예: WikiFact [571])으로 대별할 수 있으며, 각각 지식 그래프에서 트리플을 완성하고 특정 사실에 대한 불완전한 문장을 완성하는 것을 목표로 합니다. 실증 연구에 따르면 기존 LLM은 특정 관계 유형과 관련된 지식 완성 작업을 수행하기 어렵다고 합니다[520]. WikiFact에 대한 평가 결과에서 볼 수 있듯이, LLM은 사전 학습 데이터에 발생하는 몇 가지 빈번한 관계(예: 통화 및 작성자)에 대해서는 우수한 성능을 보이는 반면, 희귀한 관계(예: 발견자_또는_발명자 및 출생지)에 대해서는 그다지 우수하지 않습니다. 흥미롭게도 동일한 평가 설정(예: In-Context Learning)에서 InstructGPT(_즉, text-davinci-002)는 WikiFact의 모든 하위 집합에서 GPT-3보다 우수한 성능을 보입니다.
**지식 완성**. 지식 완성 작업에서 LLM은 (어느 정도) 지식 베이스 [576]로 간주될 수 있으며, 이를 활용하여 지식 단위의 누락된 부분(_예: 지식 트리플)을 완성하거나 예측할 수 있습니다. 이러한 작업은 LLM이 사전 학습 데이터에서 얼마나 많은 양의 지식을 학습했는지, 어떤 종류의 지식을 학습했는지를 탐색하고 평가할 수 있습니다. 기존의 지식 완성 작업은 지식 그래프에서 트리플을 완성하는 지식 그래프 완성 작업(_예: FB15k-237 [572] 및 WN18RR [574])과 특정 사실에 대한 불완전한 문장을 완성하는 사실 완성 작업(_예: 위키팩트 [571])으로 대별할 수 있으며, 각각 지식 그래프에서 트리플을 완성하고 특정 사실에 대한 불완전한 문장을 완성하는 것을 목표로 합니다. 실증 연구에 따르면 기존 LLM은 특정 관계 유형과 관련된 지식 완성 작업을 수행하기 어렵다고 합니다[520]. 위키팩트에 대한 평가 결과에서 볼 수 있듯이, LLM은 사전 학습 데이터에 발생하는 몇 가지 빈번한 관계(예: 통화 및 작성자)에 대해서는 우수한 성능을 보이는 반면, 희귀한 관계(예: 발견자_또는_발명자 및 출생지)에 대해서는 그다지 우수하지 않습니다. 흥미롭게도 동일한 평가 설정(예: 인컨텍스트 학습)에서 InstructGPT(_즉, 텍스트-다빈치-002)는 위키팩트의 모든 하위 집합에서 GPT-3보다 우수한 성능을 보입니다.