* Adapt-LLM consistently outperforms typical fixed strategies for question answering, such as (i) using the IR system for all questions and (ii) relying solely on the parametric memory of the LLM. * Adapt-LLM demonstrates performance comparable to strategies that rely on popularity scores to determine when to use an IR system, even without utilizing any popularity score or similar metric. It's worth noting that popularity scores are a unique feature of the PopQA dataset, rendering them inapplicable to other open-domain question answering datasets. * When Adapt-LLM decides to retrieve additional information, the results obtained with the context are significantly better than those without it. Similarly, when Adapt-LLM directly answers questions relying on its parametric memory, it achieves high accuracies. These observations indicate that the model effectively discerns when to retrieve information and when it can answer a question without further context. * The primary bottleneck for the performance of Adapt-LLM lies in the IR system. Adapt-LLM achieves much higher performance with gold passages compared to passages retrieved by the IR system.
* Adapt-LLM은 (i) 모든 질문에 대해 IR 시스템을 사용하는 것과 (ii) LLM의 parametric memory에만 의존하는 것과 같은 일반적인 고정된 질문 답변 전략보다 지속적으로 우수한 성능을 발휘합니다. * Adapt-LLM은 인기도 점수나 유사한 metric을 활용하지 않더라도 인기도 점수에 의존하여 IR 시스템을 사용할 시기를 결정하는 전략과 비슷한 성능을 보여줍니다. 인기도 점수는 PopQA 데이터 세트의 고유한 기능이므로 다른 공개 도메인 질문 답변 데이터 세트에는 적용할 수 없다는 점에 유의할 필요가 있습니다. * Adapt-LLM이 추가 정보를 검색하기로 결정하면 context를 사용한 결과가 context를 사용하지 않은 결과보다 훨씬 더 우수합니다. 마찬가지로, Adapt-LLM이 parametric memory에 의존하여 질문에 직접 답할 때에도 높은 정확도를 달성합니다. 이러한 관찰 결과는 모델이 정보를 검색할 시기와 추가 context 없이 질문에 답할 수 있는 시기를 효과적으로 구분할 수 있음을 나타냅니다. * Adapt-LLM의 성능의 주요 병목 현상은 IR 시스템에 있습니다. Adapt-LLM은 IR 시스템에서 검색한 구절에 비해 gold passages를 사용할 때 훨씬 더 높은 성능을 달성합니다.
* Adapt-LLM은 (i) 모든 질문에 대해 IR 시스템을 사용하는 것과 (ii) LLM의 파라메트릭 메모리에만 의존하는 것과 같은 일반적인 고정된 질문 답변 전략보다 지속적으로 우수한 성능을 발휘합니다. * Adapt-LLM은 인기도 점수나 유사한 메트릭을 활용하지 않더라도 인기도 점수에 의존하여 IR 시스템을 사용할 시기를 결정하는 전략과 비슷한 성능을 보여줍니다. 인기도 점수는 PopQA 데이터 세트의 고유한 기능이므로 다른 공개 도메인 질문 답변 데이터 세트에는 적용할 수 없다는 점에 유의할 필요가 있습니다. * Adapt-LLM이 추가 정보를 검색하기로 결정하면 컨텍스트를 사용한 결과가 컨텍스트를 사용하지 않은 결과보다 훨씬 더 우수합니다. 마찬가지로, Adapt-LLM이 파라메트릭 메모리에 의존하여 질문에 직접 답할 때에도 높은 정확도를 달성합니다. 이러한 관찰 결과는 모델이 정보를 검색할 시기와 추가 컨텍스트 없이 질문에 답할 수 있는 시기를 효과적으로 구분할 수 있음을 나타냅니다. * Adapt-LLM의 성능의 주요 병목 현상은 IR 시스템에 있습니다. Adapt-LLM은 IR 시스템에서 검색한 구절에 비해 골드 구절을 사용할 때 훨씬 더 높은 성능을 달성합니다.