To ensure a fair comparison between Adapt-LLM and the popularity-based method, we replicated their approach using the Llama-2 TB model to determine the best popularity score threshold (found to be 707,000) using the same PopQA development set. This allowed us to obtain results consistent with their methodology while utilizing our base LLM. Similar to the original results in Mallen, Alex Troy and Asai, Akari and Zhong, Victor and Das, Rajarshi and Khashabi, Daniel and Hajishirzi, Hannaneh [22] when using smaller models, the popularity score threshold is almost equivalent to always retrieving contextual information for Llama-2 7B. The IR usage is of 99.86% as presented in Table 5. This clearly shows how the popularity score method struggles with smaller size models, being GPT-3 davinci-003 the only model to get a IR usage below 80% in the original paper when using adaptive retrieval with the Contriever. Subsequently, we evaluated our Adapt-LLM configuration on the same 25% test set split and compared the outcomes with those obtained using the method described by Mallen, Alex Troy and Asai, Akari and Zhong, Victor and Das, Rajarshi and Khashabi, Daniel and Hajishirzi, Hannaneh [22] with the Llama-2 LLM as the base model.
어댑트-LLM과 인기도 기반 방법 간의 공정한 비교를 위해 Llama-2 TB 모델을 사용하여 동일한 PopQA 개발 세트를 사용하여 최적의 인기도 점수 임계값(707,000으로 확인됨)을 찾는 접근 방식을 복제했습니다. 이를 통해 기본 LLM을 활용하면서도 그들의 방법론과 일치하는 결과를 얻을 수 있었습니다. Mallen, Alex Troy 및 Asai, Akari 및 Zhong, Victor 및 Das, Rajarshi 및 Khashabi, Daniel 및 Hajishirzi, Hannaneh [22]의 원래 결과와 유사하게 더 작은 모델을 사용할 때 인기도 점수 임계값은 Llama-2 7B에 대한 문맥 정보를 항상 검색하는 것과 거의 동일합니다. 표 5에 제시된 바와 같이 IR 사용률은 99.86%입니다. 이는 인기도 점수 방식이 작은 크기의 모델, 특히 Contriever로 adaptive retrieval을 사용할 때 원래 논문에서 GPT-3 davinci-003이 유일하게 IR 사용률이 80% 미만인 모델이라는 점을 명확하게 보여줍니다. 이후 동일한 25% 테스트 세트 분할에 대해 Adapt-LLM 구성을 평가하고 그 결과를 Mallen, Alex Troy 및 Asai, Akari 및 Zhong, Victor 및 Das, Rajarshi 및 Khashabi, Daniel 및 Hajishirzi, Hannaneh [22]에서 설명한 방법을 사용하여 얻은 결과와 비교했습니다. base 모델로 Llama-2 LLM을 사용했습니다.
어댑트-LLM과 인기도 기반 방법 간의 공정한 비교를 위해 Llama-2 TB 모델을 사용하여 동일한 PopQA 개발 세트를 사용하여 최적의 인기도 점수 임계값(707,000으로 확인됨)을 찾는 접근 방식을 복제했습니다. 이를 통해 기본 LLM을 활용하면서도 그들의 방법론과 일치하는 결과를 얻을 수 있었습니다. Mallen, Alex Troy 및 Asai, Akari 및 Zhong, Victor 및 Das, Rajarshi 및 Khashabi, Daniel 및 Hajishirzi, Hannaneh [22]의 원래 결과와 유사하게 더 작은 모델을 사용할 때 인기도 점수 임계값은 Llama-2 7B에 대한 문맥 정보를 항상 검색하는 것과 거의 동일합니다. 표 5에 제시된 바와 같이 IR 사용률은 99.86%입니다. 이는 인기도 점수 방식이 작은 크기의 모델, 특히 Contriever로 적응형 검색을 사용할 때 원래 논문에서 GPT-3 davinci-003이 유일하게 IR 사용률이 80% 미만인 모델이라는 점을 명확하게 보여줍니다. 이후 동일한 25% 테스트 세트 분할에 대해 Adapt-LLM 구성을 평가하고 그 결과를 Mallen, Alex Troy 및 Asai, Akari 및 Zhong, Victor 및 Das, Rajarshi 및 Khashabi, Daniel 및 Hajishirzi, Hannaneh [22]에서 설명한 방법을 사용하여 얻은 결과와 비교했습니다. base 모델로 Llama-2 LLM을 사용했습니다.