In all cases, RAG performed significantly better compared to the base models. Furthermore, using RAG with the base model as the generator was consistently better than only fine-tuning. In some cases, using the fine-tuned model instead of the base model as the generator in the RAG pipeline improved results even further. However, this is not consistent and thus demonstrates the inherent instability of fine-tuning. Additionally, we found that the 5-shot approach boosts the results by a small margin in most cases, with a similar trend being observed in all of the different approaches.
모든 경우에 RAG는 기본 모델에 비해 훨씬 더 나은 성능을 보였습니다. 또한 기본 모델과 RAG를 생성기로 사용하는 것이 일관되게 Fine-tuning만 하는 것보다 더 좋았습니다. 경우에 따라서는 RAG 파이프라인에서 기본 모델 대신 Fine-tuned 모델을 생성기로 사용하면 결과가 더욱 향상되었습니다. 그러나 이는 일관성이 없으므로 Fine-tuning의 내재적 불안정성을 보여줍니다. 또한 5-shot 접근 방식이 대부분의 경우 소폭으로 결과를 향상시키는 것으로 나타났으며, 모든 접근 방식에서 유사한 추세가 관찰되었습니다.
모든 경우에 RAG는 기본 모델에 비해 훨씬 더 나은 성능을 보였습니다. 또한 기본 모델과 RAG를 생성기로 사용하는 것이 미세 조정만 하는 것보다 일관되게 더 좋았습니다. 경우에 따라서는 RAG 파이프라인에서 기본 모델 대신 미세 조정된 모델을 생성기로 사용하면 결과가 더욱 향상되었습니다. 그러나 이는 일관성이 없으므로 미세 조정의 내재적 불안정성을 보여줍니다. 또한 5샷 접근 방식이 대부분의 경우 소폭으로 결과를 향상시키는 것으로 나타났으며, 모든 접근 방식에서 유사한 추세가 관찰되었습니다.