We conducted a comparative analysis between our Adapt-LLM model and the current state-of-the-art approach for PopQA proposed by Mallen, Alex Troy and Asai, Akari and Zhong, Victor and Das, Rajarshi and Khashabi, Daniel and Hajishirzi, Hannaneh [22]. Their methodology relies on the popularity score annotated in the PopQA dataset to determine whether a question requires additional context. To establish the optimal threshold for determining question popularity, Mallen, Alex Troy and Asai, Akari and Zhong, Victor and Das, Rajarshi and Khashabi, Daniel and Hajishirzi, Hannaneh [22] split the PopQA dataset into 75% as a development set for threshold determination and 25% as a test set. In the original paper, they apply this methodology to various LLMs available at that moment (Llama-2 was not released yet).
우리는 Adapt-LLM 모델과 Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]가 제안한 PopQA에 대한 최신 접근법 간의 비교 분석을 수행했습니다. 그들의 방법론은 PopQA 데이터셋에 주석된 인기도 점수를 사용하여 질문이 추가적인 문맥을 필요로 하는지 여부를 결정합니다. 질문 인기도를 결정하기 위한 최적의 임계값을 설정하기 위해, Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]는 PopQA 데이터셋을 75%는 임계값 설정을 위한 개발 세트로, 25%는 테스트 세트로 나누었습니다. 원 논문에서는 이 방법론을 당시 이용 가능한 다양한 LLM에 적용했으며 (Llama-2는 아직 출시되지 않았습니다).
Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]가 제안한 PopQA의 현재 최신 접근 방식과 Adapt-LLM 모델 간의 비교 분석을 수행했습니다. 이들의 방법론은 질문에 추가 컨텍스트가 필요한지 여부를 결정하기 위해 PopQA 데이터 세트에 주석이 달린 인기도 점수에 의존합니다. 질문 인기도를 결정하기 위한 최적의 임계값을 설정하기 위해 Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]는 PopQA 데이터 세트를 75%는 임계값 결정을 위한 개발 세트로, 25%는 테스트 세트로 나누었습니다. 원래 논문에서는 이 방법론을 당시 사용 가능한 다양한 LLM(Llama-2는 아직 출시되지 않았음)에 적용했습니다.