Table 1 presents the results of this experiment, illustrating the performance of the Llama-2 model across the different configurations and datasets. Across both the NQ and SQuAD training datasets, the Adapt-LLM configuration consistently outperforms the Never Retrieve (NR-LLM) and Always Retrieve (AR-LLM) configurations on the PopQA test set. As can be observed, NR-LLM exhibits the lowest performance among the models, with an accuracy difference of approximately 14 absolute points compared to the other configurations. This disparity suggests that the parametric memory of Llama-2 alone is not sufficient for effectively answering PopQA questions.
표 1은 다양한 구성과 데이터 세트에서 Llama-2 모델의 성능을 보여주는 이 실험의 결과를 제시합니다. NQ 및 SQuAD 학습 데이터 세트 모두에서 Adapt-LLM 구성은 PopQA 테스트 세트에서 Never Retrieve (NR-LLM) 및 Always Retrieve (AR-LLM) 구성보다 일관되게 우수한 성능을 보입니다. 관찰할 수 있듯이, NR-LLM은 다른 구성과 비교하여 약 14개의 정확도 차이로 모델 중 가장 낮은 성능을 보입니다. 이 차이는 Llama-2의 parametric memory만으로는 PopQA 질문에 효과적으로 답변하기에 충분하지 않다는 것을 시사합니다.
표 1은 다양한 구성과 데이터 세트에서 Llama-2 모델의 성능을 보여주는 이 실험의 결과를 제시합니다. NQ 및 SQuAD 학습 데이터 세트 모두에서 Adapt-LLM 구성은 PopQA 테스트 세트에서 Never Retrieve(NR-LLM) 및 Always Retrieve(AR-LLM) 구성보다 일관되게 우수한 성능을 보입니다. 관찰할 수 있듯이, NR-LLM은 다른 구성과 비교하여 약 14개의 정확도 차이로 모델 중 가장 낮은 성능을 보입니다. 이 차이는 Llama-2의 파라메트릭 메모리만으로는 PopQA 질문에 효과적으로 답변하기에 충분하지 않다는 것을 시사합니다.