However, the research conducted by Mallen, Alex Troy and Asai, Akari and Zhong, Victor and Das, Rajarshi and Khashabi, Daniel and Hajishirzi, Hannaneh [22] sheds light on the complexity of question-answering strategies, challenging the notion that the optimal approach always involves the utilization of an IR system. Through the introduction of the PopQA dataset, comprising 14 thousand questions annotated with popularity scores, they demonstrated that while LLMs relying solely on their parametric memories excel in addressing high-popularity questions, the efficacy diminishes for low-popularity questions, where using IR becomes crucial.
그러나 Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]의 연구는 question-answering 전략의 복잡성을 조명하여 최적의 접근 방식이 항상 IR 시스템을 활용하는 것이 아니라는 생각에 도전합니다. 인기도 점수로 주석이 달린 14,000개의 질문으로 구성된 PopQA 데이터 세트를 도입하여 파라메트릭 메모리에만 의존하는 LLM이 인기도가 높은 질문에 탁월한 성능을 발휘하는 반면, 인기도가 낮은 질문의 경우 IR을 사용하는 것이 중요한 것으로 나타났습니다.
그러나 Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]의 연구는 질문-답변 전략의 복잡성을 조명하여 최적의 접근 방식이 항상 IR 시스템을 활용하는 것이 아니라는 생각에 도전합니다. 인기도 점수로 주석이 달린 14,000개의 질문으로 구성된 PopQA 데이터 세트를 도입하여 파라메트릭 메모리에만 의존하는 LLM이 인기도가 높은 질문에 탁월한 성능을 발휘하는 반면, 인기도가 낮은 질문의 경우 IR을 사용하는 것이 중요한 것으로 나타났습니다.