The most prevalent LMs nowadays are the GPT families (Radford et al., 2019) (Brown et al., 2020) (Achiam et al., 2023) and Bert families (Liu et al., 2019) (Devlin et al., 2018)(Sanh et al., 2019), which have been demonstrated to excel in a multitude of natural language processing tasks. Among these, the AutoEncoder language model is particularly adept at natural language understanding tasks,while the AutoRegressive language model is more suited to natural language generation tasks. While increasing parameters (Touvron et al., 2023b) and model tuning (Han et al., 2023) can enhance the performance of LLMs, the phenomenon of "hallucination" (Ji et al., 2023) persists. Furthermore, the limitations of LMs in effectively handling knowledge-intensive work (Feng et al., 2023) and their inability to promptly update their knowledge (Mousavi et al., 2024) are consistently apparent. Consequently, numerous researchers (Lewis et al., 2020) (Izacard and Grave, 2020b) (Khandelwal et al., 2019) have employed the technique of retrieval to obtain external knowledge, which can assist the language model in attaining enhanced performance in a multitude of tasks.
현재 가장 널리 사용되는 LMs은 다양한 자연어 처리 작업에서 탁월한 성능을 발휘하는 것으로 입증된 GPT 계열(Radford et al., 2019)(Brown et al., 2020)(Achiam et al., 2023)과 Bert 계열(Liu et al., 2019)(Devlin et al., 2018)(Sanh et al., 2019)입니다. 이 중 AutoEncoder language model은 자연어 이해 작업에 특히 능숙하며, AutoRegressive language model은 자연어 생성 작업에 더 적합합니다. Parameters(Touvron et al., 2023b)를 늘리고 모델을 tuning(Han et al., 2023)하면 LLM의 성능을 향상시킬 수 있지만, "hallucination" 현상(Ji et al., 2023)은 지속적으로 나타납니다. 또한 지식 집약적인 업무를 효과적으로 처리하는 데 있어 LLM의 한계(Feng et al., 2023)와 지식을 신속하게 업데이트하지 못하는 문제(Mousavi et al., 2024)도 지속적으로 나타나고 있습니다. 따라서 많은 연구자들(Lewis et al., 2020) (Izacard and Grave, 2020b) (Khandelwal et al., 2019)은 언어 모델이 다양한 작업에서 향상된 성능을 달성하는 데 도움이 될 수 있는 외부 지식을 retrieval하는 기술을 사용했습니다.
현재 가장 널리 사용되는 LM은 다양한 자연어 처리 작업에서 탁월한 성능을 발휘하는 것으로 입증된 GPT 계열(Radford et al., 2019)(Brown et al., 2020)(Achiam et al., 2023)과 Bert 계열(Liu et al., 2019)(Devlin et al., 2018)(Sanh et al., 2019)입니다. 이 중 자동 인코더 언어 모델은 자연어 이해 작업에 특히 능숙하며, 자동 회귀 언어 모델은 자연어 생성 작업에 더 적합합니다. 파라미터(Touvron et al., 2023b)를 늘리고 모델을 튜닝(Han et al., 2023)하면 LLM의 성능을 향상시킬 수 있지만, '환각' 현상(Ji et al., 2023)은 지속적으로 나타납니다. 또한 지식 집약적인 업무를 효과적으로 처리하는 데 있어 LLM의 한계(Feng et al., 2023)와 지식을 신속하게 업데이트하지 못하는 문제(Mousavi et al., 2024)도 지속적으로 나타나고 있습니다. 따라서 많은 연구자들(Lewis et al., 2020) (Izacard and Grave, 2020b) (Khandelwal et al., 2019)은 언어 모델이 다양한 작업에서 향상된 성능을 달성하는 데 도움이 될 수 있는 외부 지식을 검색하는 기술을 사용했습니다.