Large language models possess vast amounts of knowledge on various topics. In this work, we tested their capability to adapt to new knowledge: both specialized and completely unseen. This is among the first studies to compare two prominent approaches in this domain, namely fine-tuning and retrieval augmented generation. While fine-tuning can be useful for many use-cases, we found that RAG is a more reliable choice for knowledge injection.
대규모 언어 모델은 다양한 주제에 대한 방대한 지식을 보유하고 있습니다. 이 연구에서는 전문 지식과 완전히 보이지 않는 지식 모두 새로운 지식에 적응하는 능력을 테스트했습니다. 이 분야에서 두 가지 주목할 만한 접근 방식, 즉 Fine-tuning과 Retrieval-augmented generation을 비교한 최초의 연구 중 하나입니다. Fine-tuning은 많은 사용 사례에 유용할 수 있지만, 지식 주입에는 Retrieval-augmented generation이 더 안정적인 선택이라는 것을 발견했습니다.
대규모 언어 모델은 다양한 주제에 대한 방대한 지식을 보유하고 있습니다. 이 연구에서는 전문 지식과 완전히 보이지 않는 지식 모두 새로운 지식에 적응하는 능력을 테스트했습니다. 이 분야에서 두 가지 주목할 만한 접근 방식, 즉 미세 조정과 검색 증강 생성을 비교한 최초의 연구 중 하나입니다. 미세 조정은 많은 사용 사례에 유용할 수 있지만, 지식 주입에는 검색 증강 생성이 더 안정적인 선택이라는 것을 발견했습니다.