Retrieval-Augmented Generation (RAG) and Fine-Tuning (FT) stand out as two prominent approaches for adapting LLMs to specific domains. RAG retrieves relevant information from a document corpus and enhances LLM's response generation through the implementation of in-context learning (ICL). Conversely, the fine-tuning approach updates model weights to become adept at recalling specific information and enhance its memorization capabilities during inference. In the context of less popular knowledge, where limited data is available, data augmentation methods are utilized to generate synthetic training data, serving as an initial step towards fine tuning.
리트리벌 증강 생성(Retrieval-Augmented Generation, RAG)과 Fine-Tuning (FT)은 특정 도메인에 맞게 LLM을 조정하는 두 가지 주요 접근 방식으로 돋보입니다. RAG는 문서 코퍼스에서 관련 정보를 검색하고 In-Context Learning (ICL)을 구현하여 LLM의 응답 생성을 향상시킵니다. 반대로 Fine-Tuning 접근 방식은 모델 가중치를 업데이트하여 특정 정보를 기억하는 데 능숙해지고 추론 중에 기억력을 향상시킵니다. 데이터가 제한되어 있는 덜 알려진 지식의 맥락에서 데이터 증강 방법은 합성 학습 데이터를 생성하여 Fine-Tuning을 위한 초기 단계로 사용됩니다.
리트리벌 증강 생성(RAG)과 미세 조정(FT)은 특정 도메인에 맞게 LLM을 조정하는 두 가지 주요 접근 방식으로 돋보입니다. RAG는 문서 코퍼스에서 관련 정보를 검색하고 인컨텍스트 학습(ICL)을 구현하여 LLM의 응답 생성을 향상시킵니다. 반대로 미세 조정 접근 방식은 모델 가중치를 업데이트하여 특정 정보를 기억하는 데 능숙해지고 추론 중에 기억력을 향상시킵니다. 데이터가 제한되어 있는 덜 알려진 지식의 맥락에서 데이터 증강 방법은 합성 학습 데이터를 생성하여 미세 조정을 위한 초기 단계로 사용됩니다.