**Retrieval-Augmented LLM.** Due to the huge amount of fact records in a KG, existing work typically adopts a retrieval model to first obtain a relatively small subgraph from KG, and then leverages it to enhance LLMs by enriching the relevant knowledge. Before the advent of LLMs, the retrieved subgraphs are often supplemented into training data, injecting knowledge information into PLMs via parameter learning [863, 864, 865]. In contrast, to leverage the retrieved knowledge, LLMs mainly incorporate it as part of the prompt, without parameter update. To implement this approach, there are two main technical problems, _i.e.,_ how to retrieve relevant knowledge from KGs and how to make better use of the structured data by LLMs. For the first issue (_i.e.,_ retrieving relevant knowledge), a typical approach is to train a small language model (_e.g.,_ RoBERTa) to identify question-related fact triples [866]. To further improve the retrieval performance, several studies also propose an iterative reading-then-reasoning framework, enabling the LLM to interact with the KG multiple times and acquire the required knowledge in a more accurate way [458]. For the second issue (_i.e.,_ utilizing retrieved knowledge), a straightforward approach is to serialize the retrieved subgraph and craft specific prompts to include it as the input of LLMs [471, 651]. However, due to the loss of structured information in knowledge serialization, LLMs cannot fully capture the structural semantics conveyed by original KGs. To address this issue, several model-based approaches train a specialized language model (_e.g.,_ T5) to transform the subgraph into the natural language text [867]. To guarantee the transformation accuracy, it relies on sufficient training pairs (often unsupervised constructed) [868] and excellent model capability [869].
**Retrieval-Augmented LLM.** KG에는 엄청난 양의 팩트 레코드가 있기 때문에 기존 작업에서는 일반적으로 retrieval 모델을 채택하여 KG에서 비교적 작은 subgraph를 먼저 가져온 다음 이를 활용하여 관련 지식을 풍부하게 하여 LLM을 강화합니다. LLM이 등장하기 전에는 retrieval된 subgraph가 훈련 데이터에 보충되어 parameter learning을 통해 PLM에 지식 정보를 주입하는 경우가 많았습니다[863, 864, 865]. 이와는 대조적으로, retrieval된 지식을 활용하기 위해 LLM은 주로 parameter update 없이 prompt의 일부로 통합합니다. 이 접근 방식을 구현하기 위해 두 가지 주요 기술적 문제, 즉 KG에서 관련 지식을 retrieval하는 방법과 LLM이 구조화된 데이터를 더 잘 활용하는 방법이 있습니다. 첫 번째 문제(_즉, 관련 지식 retrieval)의 경우, 일반적인 접근 방식은 작은 language model(예: RoBERTa)을 훈련하여 질문과 관련된 fact triples을 식별하는 것입니다[866]. retrieval 성능을 더욱 개선하기 위해 여러 연구에서는 반복적인 읽기-추론 프레임워크를 제안하여 LLM이 KG와 여러 번 상호 작용하고 보다 정확한 방식으로 필요한 지식을 습득할 수 있도록 합니다[458]. 두 번째 문제(_즉, retrieval된 지식 활용)의 경우, 직관적인 접근 방식은 retrieval된 subgraph를 직렬화하고 특정 prompt를 작성하여 LLM의 입력으로 포함시키는 것입니다[471, 651]. 그러나 지식 직렬화에서 구조화된 정보가 손실되기 때문에 LLM은 원래 KG가 전달하는 구조적 의미를 완전히 포착할 수 없습니다. 이 문제를 해결하기 위해 몇 가지 모델 기반 접근 방식은 subgraph를 자연어 텍스트로 변환하기 위해 특수 language model(예: T5)을 훈련합니다[867]. 변환 정확성을 보장하기 위해 충분한 훈련 쌍(주로 비지도 구성) [868]과 뛰어난 모델 기능 [869]에 의존합니다.
**리트리버 증강 LLM.** KG에는 엄청난 양의 팩트 레코드가 있기 때문에 기존 작업에서는 일반적으로 검색 모델을 채택하여 KG에서 비교적 작은 하위 그래프를 먼저 가져온 다음 이를 활용하여 관련 지식을 풍부하게 하여 LLM을 강화합니다. LLM이 등장하기 전에는 검색된 하위 그래프가 훈련 데이터에 보충되어 파라미터 학습을 통해 PLM에 지식 정보를 주입하는 경우가 많았습니다[863, 864, 865]. 이와는 대조적으로, 검색된 지식을 활용하기 위해 LLM은 주로 파라미터 업데이트 없이 프롬프트의 일부로 통합합니다. 이 접근 방식을 구현하기 위해 두 가지 주요 기술적 문제, 즉 KG에서 관련 지식을 검색하는 방법과 LLM이 구조화된 데이터를 더 잘 활용하는 방법이 있습니다. 첫 번째 문제(_즉, 관련 지식 검색)의 경우, 일반적인 접근 방식은 작은 언어 모델(예: RoBERTa)을 훈련하여 질문과 관련된 팩트 트리플을 식별하는 것입니다[866]. 검색 성능을 더욱 개선하기 위해 여러 연구에서는 반복적인 읽기-추론 프레임워크를 제안하여 LLM이 KG와 여러 번 상호 작용하고 보다 정확한 방식으로 필요한 지식을 습득할 수 있도록 합니다[458]. 두 번째 문제(_즉, 검색된 지식 활용)의 경우, 직관적인 접근 방식은 검색된 하위 그래프를 직렬화하고 특정 프롬프트를 작성하여 LLM의 입력으로 포함시키는 것입니다[471, 651]. 그러나 지식 직렬화에서 구조화된 정보가 손실되기 때문에 LLM은 원래 KG가 전달하는 구조적 의미를 완전히 포착할 수 없습니다. 이 문제를 해결하기 위해 몇 가지 모델 기반 접근 방식은 하위 그래프를 자연어 텍스트로 변환하기 위해 특수 언어 모델(예: T5)을 훈련합니다[867]. 변환 정확성을 보장하기 위해 충분한 훈련 쌍(주로 비지도 구성) [868]과 뛰어난 모델 기능 [869]에 의존합니다.