We begin by selecting an open-domain question answering dataset containing questions \(Q\), associated context passages \(P\), and corresponding answers \(A\). We initialize \(DS_{Adapt}\) to an empty set (line 1 of the algorithm). For each question in \(Q\), we leverage the base LLM without any retrieval mechanism to perform a zero-shot inference (line 3). This step allows us to differentiate questions for which the model generates correct answers from those where its responses are inaccurate. This process can be understood as a way to discover what the base LLM _knows_ due to its parametric memory.
먼저, 질문 \(Q\), 관련 문맥 구절 \(P\), 해당 답변 \(A\)를 포함하는 개방형 도메인 question answering 데이터 세트를 선택합니다. \(DS_{Adapt}\)를 빈 집합으로 초기화합니다(알고리즘의 1줄). \(Q\)의 각 질문에 대해 retrieval 메커니즘 없이 기본 LLM을 활용하여 zero-shot inference를 수행합니다(3줄). 이 단계를 통해 모델이 정답을 생성하는 질문과 그 반응이 부정확한 질문을 구분할 수 있습니다. 이 프로세스는 기본 LLM이 파라메트릭 메모리로 인해 _알고 있는_ 것을 발견하는 방법으로 이해할 수 있습니다.
먼저, 질문 \(Q\), 관련 문맥 구절 \(P\), 해당 답변 \(A\)를 포함하는 개방형 도메인 질문 답변 데이터 세트를 선택합니다. DS_{Adapt}\)를 빈 집합으로 초기화합니다(알고리즘의 1줄). Q\)의 각 질문에 대해 검색 메커니즘 없이 기본 LLM을 활용하여 제로 샷 추론을 수행합니다(3줄). 이 단계를 통해 모델이 정답을 생성하는 질문과 그 반응이 부정확한 질문을 구분할 수 있습니다. 이 프로세스는 기본 LLM이 파라메트릭 메모리로 인해 _알고 있는_ 것을 발견하는 방법으로 이해할 수 있습니다.