In this paper, we demonstrate how Large Language Models (LLMs) can effectively learn to use an off-the-shelf information retrieval (IR) system specifically when additional context is required to answer a given question. Given the performance of IR systems, the optimal strategy for question answering does not always entail external information retrieval; rather, it often involves leveraging the parametric memory of the LLM itself. Prior research has identified this phenomenon in the PopQA dataset, wherein the most popular questions are effectively addressed using the LLM's parametric memory, while less popular ones require IR system usage. Following this, we propose a tailored training approach for LLMs, leveraging existing open-domain question answering datasets. Here, LLMs are trained to generate a special token, \(\langle\text{RET}\rangle\), when they do not know the answer to a question. Our evaluation of the Adaptive Retrieval LLM (Adapt-LLM) on the PopQA dataset showcases improvements over the same LLM under three configurations: (i) retrieving information for all the questions, (ii) using always the parametric memory of the LLM, and (iii) using a popularity threshold to decide when to use a retriever. Through our analysis, we demonstrate that Adapt-LLM is able to generate the \(\langle\text{RET}\rangle\) token when it determines that it does not know how to answer a question, indicating the need for IR, while it achieves notably high accuracy levels when it chooses to rely only on its parametric memory.
이 백서에서는 특정 질문에 답하기 위해 추가 컨텍스트가 필요한 경우 Large Language Models (LLMs)이 즉시 사용 가능한 정보 검색(IR) 시스템을 효과적으로 사용하는 방법을 보여 줍니다. IR 시스템의 성능을 고려할 때, 질문에 대한 답변을 위한 최적의 전략이 항상 외부 정보 검색을 수반하는 것은 아니며, 오히려 LLM 자체의 parametric memory를 활용하는 것이 더 효과적인 경우가 많습니다. 이전 연구에서는 가장 인기 있는 질문은 LLM의 parametric memory를 사용하여 효과적으로 해결할 수 있는 반면, 인기가 낮은 질문은 IR 시스템 사용이 필요한 PopQA 데이터 세트에서 이러한 현상을 확인했습니다. 이를 바탕으로 기존의 오픈 도메인 question answering 데이터 세트를 활용하여 LLM을 위한 맞춤형 훈련 방식을 제안합니다. 여기서 LLM은 질문에 대한 답을 모를 때 특수 토큰인 \(\langle\text{RET}\rangle\)을 생성하도록 훈련됩니다. PopQA 데이터 세트에서 Adaptive Retrieval LLM (Adapt-LLM)을 평가한 결과, 세 가지 구성에서 동일한 LLM보다 개선된 성능을 보여주었습니다: (i) 모든 질문에 대해 정보를 검색, (ii) 항상 LLM의 parametric memory를 사용, (iii) 인기도 임계값을 사용하여 retriever를 언제 사용할지 결정합니다. 분석을 통해 Adapt-LLM이 질문에 대한 답변 방법을 모른다고 판단할 때 \(\langle\text{RET}\rangle\) 토큰을 생성하여 IR이 필요함을 나타내는 동시에 parametric memory에만 의존하기로 선택했을 때 현저히 높은 정확도 수준을 달성할 수 있음을 입증했습니다.
이 백서에서는 특정 질문에 답하기 위해 추가 컨텍스트가 필요한 경우 대용량 언어 모델(LLM)이 즉시 사용 가능한 정보 검색(IR) 시스템을 효과적으로 사용하는 방법을 보여 줍니다. IR 시스템의 성능을 고려할 때, 질문에 대한 답변을 위한 최적의 전략이 항상 외부 정보 검색을 수반하는 것은 아니며, 오히려 LLM 자체의 파라메트릭 메모리를 활용하는 것이 더 효과적인 경우가 많습니다. 이전 연구에서는 가장 인기 있는 질문은 LLM의 파라메트릭 메모리를 사용하여 효과적으로 해결할 수 있는 반면, 인기가 낮은 질문은 IR 시스템 사용이 필요한 PopQA 데이터 세트에서 이러한 현상을 확인했습니다. 이를 바탕으로 기존의 오픈 도메인 질문 답변 데이터 세트를 활용하여 LLM을 위한 맞춤형 훈련 방식을 제안합니다. 여기서 LLM은 질문에 대한 답을 모를 때 특수 토큰인 \(\langle\text{RET}\rangle\)을 생성하도록 훈련됩니다. PopQA 데이터 세트에서 적응형 검색 LLM(Adapt-LLM)을 평가한 결과, 세 가지 구성에서 동일한 LLM보다 개선된 성능을 보여주었습니다: (i) 모든 질문에 대해 정보를 검색, (ii) 항상 LLM의 파라메트릭 메모리를 사용, (iii) 인기도 임계값을 사용하여 검색기를 언제 사용할지 결정합니다. 분석을 통해 Adapt-LLM이 질문에 대한 답변 방법을 모른다고 판단할 때 \(\langle\text{RET}\rangle\) 토큰을 생성하여 IR이 필요함을 나타내는 동시에 파라메트릭 메모리에만 의존하기로 선택했을 때 현저히 높은 정확도 수준을 달성할 수 있음을 입증했습니다.