In many cases, however, question answering datasets do not include popularity scores, so relying on such scores is not a generalizable approach. Motivated by this limitation, our study aims to address whether LLMs can autonomously determine when to employ an IR system for improved question answering. To investigate this, we conduct an evaluation of an LLM using an open-domain question answering dataset to identify the questions for which the LLM provides accurate responses and those where its answers are incorrect.
그러나 question answering 데이터 세트에는 인기도 점수가 포함되어 있지 않은 경우가 많기 때문에 이러한 점수에 의존하는 것은 일반화할 수 있는 접근 방식이 아닙니다. 이러한 한계에 착안하여, 우리 연구는 LLM이 개선된 question answering을 위해 IR 시스템을 언제 사용해야 하는지 자율적으로 결정할 수 있는지에 대한 문제를 해결하는 것을 목표로 합니다. 이를 조사하기 위해, 우리는 LLM이 정확한 답변을 제공하는 질문과 답변이 잘못된 질문을 식별하기 위해 오픈 도메인 question answering 데이터 세트를 사용하여 LLM에 대한 평가를 수행합니다.
그러나 질문 답변 데이터 세트에는 인기도 점수가 포함되어 있지 않은 경우가 많기 때문에 이러한 점수에 의존하는 것은 일반화할 수 있는 접근 방식이 아닙니다. 이러한 한계에 착안하여, 우리 연구는 LLM이 개선된 질문 답변을 위해 IR 시스템을 언제 사용해야 하는지 자율적으로 결정할 수 있는지에 대한 문제를 해결하는 것을 목표로 합니다. 이를 조사하기 위해, 우리는 LLM이 정확한 답변을 제공하는 질문과 답변이 잘못된 질문을 식별하기 위해 오픈 도메인 질문 답변 데이터 세트를 사용하여 LLM에 대한 평가를 수행합니다.