In this paper, we introduce Adapt-LLM, a LLM which learns to discern when additional context is necessary for answering a question, rather than relying solely on its parametric memory. Adapt-LLM is the result of fine-tuning a base LLM on an open-domain question answering dataset that has been modified to differentiate between questions answerable with the LLM's parametric memory alone and those requiring supplementary context. To construct these training datasets, we initially subject the base LLM to zero-shot evaluation to determine its accuracy in answering questions. For questions where the model's response is incorrect, we train the LLM to generate a special token, \(\langle\text{RET}\rangle\), indicating the need for additional context.
이 백서에서는 파라메트릭 메모리에만 의존하지 않고 질문에 대한 답변에 추가 컨텍스트가 필요한 시기를 학습하는 LLM인 Adapt-LLM을 소개합니다. Adapt-LLM은 기본 LLM을 파라메트릭 메모리만으로 답변할 수 있는 질문과 추가 컨텍스트가 필요한 질문을 구분하도록 수정된 오픈 도메인 질문 답변 데이터 세트에 대해 Fine-tuning한 결과입니다. 이러한 학습 데이터 세트를 구성하기 위해 먼저 기본 LLM을 zero-shot 평가하여 질문에 대한 답변 정확도를 결정합니다. 모델의 응답이 잘못된 질문의 경우, LLM이 추가 컨텍스트가 필요함을 나타내는 특수 토큰(\(\langle\text{RET}\rangle\))을 생성하도록 LLM을 학습시킵니다.
이 백서에서는 파라메트릭 메모리에만 의존하지 않고 질문에 대한 답변에 추가 컨텍스트가 필요한 시기를 학습하는 LLM인 Adapt-LLM을 소개합니다. Adapt-LLM은 기본 LLM을 파라메트릭 메모리만으로 답변할 수 있는 질문과 추가 컨텍스트가 필요한 질문을 구분하도록 수정된 오픈 도메인 질문 답변 데이터 세트에 대해 미세 조정한 결과입니다. 이러한 학습 데이터 세트를 구성하기 위해 먼저 기본 LLM을 0샷 평가하여 질문에 대한 답변 정확도를 결정합니다. 모델의 응답이 잘못된 질문의 경우, LLM이 추가 컨텍스트가 필요함을 나타내는 특수 토큰(\(\langle\text{RET}\rangle\))을 생성하도록 LLM을 학습시킵니다.