Large language models (LLMs) memorize a vast amount of factual knowledge, exhibiting strong performance across diverse tasks and domains. However, it has been observed that the performance diminishes when dealing with less-popular or low-frequency concepts and entities, for example in domain specific applications. The two prominent approaches to enhance the performance of LLMs on low-frequent topics are: Retrieval Augmented Generation (RAG) and fine-tuning (FT) over synthetic data. This paper explores and evaluates the impact of RAG and FT on customizing LLMs in handling low-frequency entities on question answering task. Our findings indicate that FT significantly boosts the performance across entities of varying popularity, especially in the most and least popular groups, while RAG surpasses other methods. Additionally, the success of both RAG and FT approaches is amplified by advancements in retrieval and data augmentation techniques. The code and data is available at [https://github.com/informagi/RAGvsFT](https://github.com/informagi/RAGvsFT).
대규모 언어 모델(LLM)은 방대한 양의 사실적 지식을 암기하여 다양한 작업과 도메인에서 강력한 성능을 발휘합니다. 그러나 도메인별 애플리케이션에서와 같이 덜 대중적이거나 빈도가 낮은 개념과 엔티티를 다룰 때 성능이 저하되는 것으로 관찰되었습니다. 빈도가 낮은 주제에 대한 LLM의 성능을 향상시키는 두 가지 주요 접근 방식은 다음과 같습니다: Retrieval-augmented generation (RAG)과 합성 데이터에 대한 Fine-tuning (FT)입니다. 이 백서에서는 질문 답변 작업에서 빈도가 낮은 엔티티를 처리할 때 LLM을 사용자 지정하는 데 있어 RAG와 FT의 영향을 탐색하고 평가합니다. 연구 결과에 따르면, FT는 특히 가장 인기 있는 그룹과 가장 인기 없는 그룹에서 다양한 인기의 엔티티에 걸쳐 성능을 크게 향상시키는 반면, RAG는 다른 방법을 능가하는 것으로 나타났습니다. 또한 검색 및 데이터 증강 기술의 발전으로 RAG와 FT 접근 방식의 성공은 더욱 amplified되었습니다. 코드와 데이터는 [https://github.com/informagi/RAGvsFT](https://github.com/informagi/RAGvsFT)에서 확인할 수 있습니다.
대규모 언어 모델(LLM)은 방대한 양의 사실적 지식을 암기하여 다양한 작업과 도메인에서 강력한 성능을 발휘합니다. 그러나 도메인별 애플리케이션에서와 같이 덜 대중적이거나 빈도가 낮은 개념과 엔티티를 다룰 때 성능이 저하되는 것으로 관찰되었습니다. 빈도가 낮은 주제에 대한 LLM의 성능을 향상시키는 두 가지 주요 접근 방식은 다음과 같습니다: 검색 증강 생성(RAG)과 합성 데이터에 대한 미세 조정(FT)입니다. 이 백서에서는 질문 답변 작업에서 빈도가 낮은 엔티티를 처리할 때 LLM을 사용자 지정하는 데 있어 RAG와 FT의 영향을 탐색하고 평가합니다. 연구 결과에 따르면, FT는 특히 가장 인기 있는 그룹과 가장 인기 없는 그룹에서 다양한 인기의 엔티티에 걸쳐 성능을 크게 향상시키는 반면, RAG는 다른 방법을 능가하는 것으로 나타났습니다. 또한 검색 및 데이터 증강 기술의 발전으로 RAG와 FT 접근 방식의 성공은 더욱 amplified되었습니다. 코드와 데이터는 [https://github.com/informagi/RAGvsFT](https://github.com/informagi/RAGvsFT)에서 확인할 수 있습니다.