1. We conduct inference on the Adapt-LLM model using the PopQA test set, prompting it to either return an answer directly or indicate the need for additional context by returning \(\langle\)RET\(\rangle\). 2. In the case of receiving a \(\langle\)RET\(\rangle\) response from the Adapt-LLM model, we proceed with the following steps: 1. We conduct inference on the Adapt-LLM model, prompting it to return an answer given the context obtained from the IR system. 2. We also conduct inference on the NR-LLM model with the instruction to provide an answer directly without additional context. 3. If the Adapt-LLM model decides to answer the question directly relying only on its parametric memory: 1. We conduct inference on the Adapt-LLM model, prompting it to return the answer without providing context. 2. We conduct inference on the AR-LLM model with the instruction to provide an answer using the context retrieved by the IR system.
1. PopQA 테스트 세트를 사용하여 Adapt-LLM 모델에 대한 inference를 수행하여 직접 답변을 반환하거나 \(\langle\)RET\(\rangle\)를 반환하여 추가 컨텍스트가 필요함을 나타내도록 프롬프트합니다. 2. Adapt-LLM 모델에서 \(\langle\)RET\(\rangle\) 응답을 받은 경우 다음 단계를 진행합니다: 1. IR 시스템에서 얻은 컨텍스트가 주어지면 Adapt-LLM 모델에 대한 inference를 수행하여 답변을 반환하도록 프롬프트합니다. 2. 또한 추가 컨텍스트 없이 직접 답변을 제공하라는 instruction을 통해 NR-LLM 모델에 대한 inference를 수행합니다. 3. Adapt-LLM 모델이 파라메트릭 메모리에만 의존하여 질문에 직접 답변하기로 결정한 경우: 1. 컨텍스트를 제공하지 않고 답변을 반환하도록 프롬프트하여 Adapt-LLM 모델에 대한 inference를 수행합니다. 2. IR 시스템에서 검색한 컨텍스트를 사용하여 답변을 제공하라는 instruction을 통해 AR-LLM 모델에 대한 inference를 수행합니다.
1. PopQA 테스트 세트를 사용하여 Adapt-LLM 모델에 대한 추론을 수행하여 직접 답변을 반환하거나 \(\langle\)RET\(\rangle\)를 반환하여 추가 컨텍스트가 필요함을 나타내도록 프롬프트합니다. 2. Adapt-LLM 모델에서 \(\langle\)RET\(\rangle\) 응답을 받은 경우 다음 단계를 진행합니다: 1. IR 시스템에서 얻은 컨텍스트가 주어지면 Adapt-LLM 모델에 대한 추론을 수행하여 답변을 반환하도록 프롬프트합니다. 2. 또한 추가 컨텍스트 없이 직접 답변을 제공하라는 지시를 통해 NR-LLM 모델에 대한 추론을 수행합니다. 3. Adapt-LLM 모델이 파라메트릭 메모리에만 의존하여 질문에 직접 답변하기로 결정한 경우: 1. 컨텍스트를 제공하지 않고 답변을 반환하도록 프롬프트하여 Adapt-LLM 모델에 대한 추론을 수행합니다. 2. IR 시스템에서 검색한 컨텍스트를 사용하여 답변을 제공하라는 지시를 통해 AR-LLM 모델에 대한 추론을 수행합니다.