Another method to enhance a model's knowledge base is through the use of in-context learning (ICL) (Chen et al., 2021; Radford et al., 2019; Min et al., 2021; Lampinen et al., 2022). The main idea behind ICL is to improve the performance of pre-trained LLMs on new tasks by modifying the input query to the model without directly changing the weights of the model. One form of ICL is retrieval augmented generation (RAG) (Lewis et al., 2020; Neelakantan et al., 2022). RAG uses information retrieval techniques to enable LLMs to obtain relevant information from a knowledge source and incorporate it into generated text.
모델의 지식 기반을 향상시키는 또 다른 방법은 In-Context Learning (ICL)을 사용하는 것입니다(Chen et al., 2021; Radford et al., 2019; Min et al., 2021; Lampinen et al., 2022). ICL의 기본 개념은 모델의 가중치를 직접 변경하지 않고 입력 쿼리를 수정하여 새로운 작업에서 사전 학습된 LLM의 성능을 개선하는 것입니다. ICL의 한 형태는 Retrieval-augmented generation (RAG)(Lewis et al., 2020; Neelakantan et al., 2022)입니다. RAG는 정보 검색 기술을 사용하여 LLM이 지식 소스에서 관련 정보를 가져와 생성된 텍스트에 통합할 수 있도록 합니다.
모델의 지식 기반을 향상시키는 또 다른 방법은 컨텍스트 내 학습(ICL)을 사용하는 것입니다(Chen et al., 2021; Radford et al., 2019; Min et al., 2021; Lampinen et al., 2022). ICL의 기본 개념은 모델의 가중치를 직접 변경하지 않고 입력 쿼리를 수정하여 새로운 작업에서 사전 학습된 LLM의 성능을 개선하는 것입니다. ICL의 한 형태는 검색 증강 생성(RAG)(Lewis et al., 2020; Neelakantan et al., 2022)입니다. RAG는 정보 검색 기술을 사용하여 LLM이 지식 소스에서 관련 정보를 가져와 생성된 텍스트에 통합할 수 있도록 합니다.