the latest knowledge beyond the training data. To tackle this issue, a straightforward approach is to regularly update LLMs with new data. However, it is very costly to fine-tune LLMs, and also likely to cause the catastrophic forgetting issue when incrementally training LLMs. Therefore, it is necessary to develop efficient and effective approaches that can integrate new knowledge into existing LLMs, making them up-to-date. Existing studies have explored how to utilize the external knowledge source (_e.g.,_ search engine) to complement LLMs, which can be either jointly optimized with LLMs [653] or used as a plug-and-play module [659]. For instance, ChatGPT utilizes a retrieval plugin to access up-to-date information sources [665]. By incorporating the extracted relevant information into the context [666, 667, 668], LLMs can acquire new factual knowledge and perform better on relevant tasks. However, such an approach seems to be still at a superficial level. In addition, existing studies also explore editing parameters of language models to update intrinsic knowledge [669, 670, 671]. Nevertheless, previous work [672] has shown that several parameter editing methods perform not well on LLMs, though they can improve the performance of small language models. Therefore, it is still difficult to directly amend intrinsic knowledge or inject specific knowledge into LLMs, which remains an open research problem [672]. Recently, a useful framework _EasyEdit_[673] has been released to facilitate the research of knowledge editing for LLMs.
훈련 데이터를 넘어서는 최신 지식을 습득합니다. 이 문제를 해결하기 위한 간단한 접근 방식은 정기적으로 새로운 데이터로 LLM을 업데이트하는 것입니다. 그러나 LLM을 Fine-tuning하는 데는 많은 비용이 들며, LLM을 점진적으로 훈련할 때 치명적인 망각 문제가 발생할 가능성이 높습니다. 따라서 기존 LLM에 새로운 지식을 통합하여 최신 상태로 만들 수 있는 효율적이고 효과적인 접근 방식을 개발할 필요가 있습니다. 기존 연구에서는 외부 지식 소스(_예:_ 검색 엔진)를 활용하여 LLM을 보완하는 방법을 탐구했으며, 이는 LLM과 공동 최적화하거나 플러그 앤 플레이 모듈로 사용할 수 있습니다[653]. 예를 들어, ChatGPT는 검색 플러그인을 사용하여 최신 정보 소스에 액세스합니다[665]. 추출된 관련 정보를 컨텍스트에 통합함으로써[666, 667, 668], LLM은 새로운 사실적 지식을 습득하고 관련 작업을 더 잘 수행할 수 있습니다. 그러나 이러한 접근 방식은 아직 피상적인 수준에 머물러 있는 것 같습니다. 또한 기존 연구에서는 언어 모델의 매개변수를 편집하여 내재적 지식을 업데이트하는 방식도 탐구하고 있습니다[669, 670, 671]. 그러나 이전 연구[672]에 따르면, 여러 매개변수 편집 방법은 소규모 언어 모델의 성능을 향상시킬 수 있지만 LLM에서는 성능이 좋지 않은 것으로 나타났습니다. 따라서 여전히 내재적 지식을 직접 수정하거나 LLM에 특정 지식을 주입하는 것은 어려운 문제이며, 이는 아직 미해결 과제로 남아 있습니다[672]. 최근에는 LLM에 대한 지식 편집 연구를 촉진하기 위해 유용한 프레임워크인 _EasyEdit_[673]이 출시되었습니다.
훈련 데이터를 넘어서는 최신 지식을 습득합니다. 이 문제를 해결하기 위한 간단한 접근 방식은 정기적으로 새로운 데이터로 LLM을 업데이트하는 것입니다. 그러나 LLM을 미세 조정하는 데는 많은 비용이 들며, LLM을 점진적으로 훈련할 때 치명적인 망각 문제가 발생할 가능성이 높습니다. 따라서 기존 LLM에 새로운 지식을 통합하여 최신 상태로 만들 수 있는 효율적이고 효과적인 접근 방식을 개발할 필요가 있습니다. 기존 연구에서는 외부 지식 소스(_예:_ 검색 엔진)를 활용하여 LLM을 보완하는 방법을 탐구했으며, 이는 LLM과 공동 최적화하거나 플러그 앤 플레이 모듈로 사용할 수 있습니다[653]. 예를 들어, ChatGPT는 검색 플러그인을 사용하여 최신 정보 소스에 액세스합니다[665]. 추출된 관련 정보를 컨텍스트에 통합함으로써[666, 667, 668], LLM은 새로운 사실적 지식을 습득하고 관련 작업을 더 잘 수행할 수 있습니다. 그러나 이러한 접근 방식은 아직 피상적인 수준에 머물러 있는 것 같습니다. 또한 기존 연구에서는 언어 모델의 매개변수를 편집하여 내재적 지식을 업데이트하는 방식도 탐구하고 있습니다[669, 670, 671]. 그러나 이전 연구[672]에 따르면, 여러 매개변수 편집 방법은 소규모 언어 모델의 성능을 향상시킬 수 있지만 LLM에서는 성능이 좋지 않은 것으로 나타났습니다. 따라서 여전히 내재적 지식을 직접 수정하거나 LLM에 특정 지식을 주입하는 것은 어려운 문제이며, 이는 아직 미해결 과제로 남아 있습니다[672]. 최근에는 LLM에 대한 지식 편집 연구를 촉진하기 위해 유용한 프레임워크인 _EasyEdit_[673]이 출시되었습니다.