**Comparing FT vs. RAG**. As interest grows in refining pre-trained language models for particular tasks, the comparison of FT and RAG strategies under equitable conditions is becoming increasingly important. Mosbach et al. (2023) explored the effectiveness of few-shot FT versus In-context Learning for classification tasks in general domains. de Luis Balaguer et al. (2024) compared FT and RAG in answering long, agriculture, and geography-specific questions. Ovadia et al. (2023) assessed the performance on multiple-choice questions in specialized areas like Anatomy, Astronomy, College Biology, and Prehistory. In contrast to these studies, we directly address the integration of less popular factual knowledge into LLMs, comparing various retrieval, data augmentation, and fine tuning methods.
**FT와 RAG 비교**. 특정 작업에 맞게 사전 학습된 언어 모델을 개선하는 것에 대한 관심이 높아짐에 따라 공평한 조건에서 Fine-tuning (FT)와 Retrieval-augmented generation (RAG) 전략을 비교하는 것이 점점 더 중요해지고 있습니다. Mosbach 외(2023)는 일반 도메인에서 분류 작업을 위한 몇 가지 샷 Fine-tuning (FT)와 In-Context Learning의 효과를 조사했습니다. de Luis Balaguer 외(2024)는 농업 및 지리 관련 장문 질문에 대한 답변에서 Fine-tuning (FT)와 Retrieval-augmented generation (RAG)를 비교했습니다. Ovadia 외(2023)는 해부학, 천문학, 대학 생물학, 선사학과 같은 전문 분야의 객관식 문제에 대한 성능을 평가했습니다. 이러한 연구와는 달리 저희는 다양한 retrieval, data augmentation 및 Fine-tuning 방법을 비교하여 덜 널리 사용되는 사실적 지식을 Large Language Models (LLMs)에 통합하는 방법을 직접 다루고 있습니다.
**FT와 RAG 비교**. 특정 작업에 맞게 사전 학습된 언어 모델을 개선하는 것에 대한 관심이 높아짐에 따라 공평한 조건에서 FT와 RAG 전략을 비교하는 것이 점점 더 중요해지고 있습니다. Mosbach 외(2023)는 일반 도메인에서 분류 작업을 위한 몇 가지 샷 FT와 컨텍스트 내 학습의 효과를 조사했습니다. de Luis Balaguer 외(2024)는 농업 및 지리 관련 장문 질문에 대한 답변에서 FT와 RAG를 비교했습니다. Ovadia 외(2023)는 해부학, 천문학, 대학 생물학, 선사학과 같은 전문 분야의 객관식 문제에 대한 성능을 평가했습니다. 이러한 연구와는 달리 저희는 다양한 검색, 데이터 증강 및 미세 조정 방법을 비교하여 덜 널리 사용되는 사실적 지식을 LLM에 통합하는 방법을 직접 다루고 있습니다.