Language Models (LMs) utilizing knowledge from external sources, such as Retrieval-Augmented Generation (RAG) (Lewis et al., 2020) and Blender Bot 2.0 (Xu et al., 2021; Komeili et al., 2021), cope with the changing world by updating the external sources during inference or searching the internet for retrieving recent information. However, recent works have shown that these memory-augmented models suffer from _hallucination_, which means that they present false information as if it were correct, despite being given updated knowledge during inference (Zhang and Choi, 2021), which worsens as the size of the LM increases (Longpre et al., 2021), making it more so important for implicit parameters to be renewed as well.
검색 증강 생성(RAG)(Lewis et al., 2020) 및 Blender Bot 2.0(Xu et al., 2021; Komeili et al., 2021)과 같은 외부 소스의 지식을 활용하는 언어 모델(LM)은 추론 중에 외부 소스를 업데이트하거나 최신 정보를 검색하기 위해 인터넷을 검색함으로써 변화하는 세상에 대처합니다. 그러나 최근 연구에 따르면 이러한 메모리 증강 모델은 추론 중에 업데이트된 지식이 주어졌음에도 불구하고 잘못된 정보를 마치 정답인 것처럼 제시하는 'hallucination' 현상을 겪는 것으로 나타났으며(Zhang and Choi, 2021), 이는 LM의 크기가 커질수록 악화되기 때문에(Longpre et al., 2021), 암묵적 매개변수도 새로 고쳐야 할 필요성이 더욱 커지고 있습니다.
검색 증강 생성(RAG)(Lewis et al., 2020) 및 Blender Bot 2.0(Xu et al., 2021; 코멜리 등, 2021)과 같은 외부 소스의 지식을 활용하는 언어 모델(LM)은 추론 중에 외부 소스를 업데이트하거나 최신 정보를 검색하기 위해 인터넷을 검색함으로써 변화하는 세상에 대처합니다. 그러나 최근 연구에 따르면 이러한 메모리 증강 모델은 추론 중에 업데이트된 지식이 주어졌음에도 불구하고 잘못된 정보를 마치 정답인 것처럼 제시하는 '환각' 현상을 겪는 것으로 나타났으며(Zhang and Choi, 2021), 이는 LM의 크기가 커질수록 악화되기 때문에(Longpre et al., 2021), 암묵적 매개변수도 새로 고쳐야 할 필요성이 더욱 커지고 있습니다.