In this study, we performed a comparative analysis to evaluate the effectiveness of RAG versus FT, with a focus on less popular knowledge. Our results reveal that FT leads to consistent performance improvements for all entities, with the most notable gains seen in the most and least popular categories. We found that RAG stands out as a more effective strategy, especially when used in combination with fine-tuning. This advantage decreases however in larger models. Additionally, we observed that the success of both RAG and FT strategies improves with the enhancement of the retrieval and data augmentation models' performance. Understanding the critical importance of synthetic data quality, future work will focus on developing an effective method for data creation.
이 연구에서는 인기가 없는 지식에 초점을 맞춰 RAG와 FT의 효과를 비교 분석했습니다. 그 결과 Fine-tuning이 모든 엔티티에서 일관된 성능 향상을 가져오며, 가장 인기 있는 카테고리와 가장 인기 없는 카테고리에서 가장 큰 성능 향상을 가져온다는 사실을 발견했습니다. 특히 Fine-tuning과 함께 사용할 경우 RAG가 더 효과적인 전략으로 돋보이는 것으로 나타났습니다. 그러나 이러한 장점은 더 큰 모델에서 감소합니다. 또한 Retrieval 및 데이터 증강 모델의 성능이 향상되면 두 가지 전략 모두의 성공률이 향상되는 것으로 관찰되었습니다. 합성 데이터 품질의 중요성을 이해하고 향후 작업은 데이터 생성을 위한 효과적인 방법을 개발하는 데 중점을 둘 것입니다.
이 연구에서는 인기가 없는 지식에 초점을 맞춰 RAG와 FT의 효과를 비교 분석했습니다. 그 결과 FT가 모든 엔티티에서 일관된 성능 향상을 가져오며, 가장 인기 있는 카테고리와 가장 인기 없는 카테고리에서 가장 큰 성능 향상을 가져온다는 사실을 발견했습니다. 특히 미세 조정과 함께 사용할 경우 RAG가 더 효과적인 전략으로 돋보이는 것으로 나타났습니다. 그러나 이러한 장점은 더 큰 모델에서 감소합니다. 또한 검색 및 데이터 증강 모델의 성능이 향상되면 두 가지 전략 모두의 성공률이 향상되는 것으로 관찰되었습니다. 합성 데이터 품질의 중요성을 이해하고 향후 작업은 데이터 생성을 위한 효과적인 방법을 개발하는 데 중점을 둘 것입니다.