Although humans used to rely solely on searching for information, the development of language models has revolutionised the field of natural language processing, making it more vibrant and creative. In contrast to LM, which employs solely the parameters derived from training to complete the task, RALM integrates the nonparametric memory acquired by the retriever with the parametric memory of LM itself to create a semiparametric memory, thereby enhancing the performance of the language model. In the RALM architecture, many researchers utilise off-the-shelf language models for evaluation. This section introduces the language models commonly used in RALM architectures and classifies them into three categories: AutoEncoder-language model, AutoRegressive language model and Encoder-Decoder model. Table 2 lists information about specific applications of LM in the RALM.
인간은 정보를 검색하는 데만 의존하던 과거와 달리, 언어 모델의 발전으로 자연어 처리 분야가 더욱 활기차고 창의적으로 변모했습니다. 학습에서 도출된 파라미터만을 사용하여 작업을 완료하는 LM과 달리, RALM은 리트리버가 습득한 비모수적 메모리를 LM 자체의 파라메트릭 메모리와 통합하여 반모수적 메모리를 생성함으로써 언어 모델의 성능을 향상시킵니다. RALM 아키텍처에서 많은 연구자들이 기성 언어 모델을 평가에 활용하고 있습니다. 이 섹션에서는 RALM 아키텍처에서 일반적으로 사용되는 언어 모델을 소개하고 AutoEncoder-language model, AutoRegressive language model, Encoder-Decoder model의 세 가지로 분류합니다. 표 2는 RALM에서 LM의 구체적인 적용에 대한 정보를 나열합니다.
인간은 정보를 검색하는 데만 의존하던 과거와 달리, 언어 모델의 발전으로 자연어 처리 분야가 더욱 활기차고 창의적으로 변모했습니다. 학습에서 도출된 파라미터만을 사용하여 작업을 완료하는 LM과 달리, RALM은 리트리버가 습득한 비모수적 메모리를 LM 자체의 파라메트릭 메모리와 통합하여 반모수적 메모리를 생성함으로써 언어 모델의 성능을 향상시킵니다. RALM 아키텍처에서 많은 연구자들이 기성 언어 모델을 평가에 활용하고 있습니다. 이 섹션에서는 RALM 아키텍처에서 일반적으로 사용되는 언어 모델을 소개하고 자동 인코더-언어 모델, 자동 회귀 언어 모델, 인코더-디코더 모델의 세 가지로 분류합니다. 표 2는 RALM에서 LM의 구체적인 적용에 대한 정보를 나열합니다.