To further validate the behavior of Adapt-LLM when requesting additional context, Figure 2 illustrates the proportion of questions for which our model generates the \(\langle\text{RET}\rangle\) token, aggregated by popularity score intervals (left image for Adapt-LLM trained on NQ and right image for SQuAD). Mallen, Alex Troy and Asai, Akari and Zhong, Victor and Das, Rajarshi and Khashabi, Daniel and Hajishirzi, Hannaneh [22] suggest that high-popularity questions can be adequately answered using the parametric memory of the LLM, while lower popularity scores necessitate extra context. In Figure 2, we observe this pattern for both versions of Adapt-LLM, indicating that our model, despite lacking access to popularity scores during training or inference, has learned effective criteria for requesting additional context.
Adapt-LLM이 추가적인 컨텍스트를 요청할 때의 동작을 추가로 검증하기 위해, Figure 2는 우리 모델이 \(\langle\text{RET}\rangle\) 토큰을 생성하는 질문의 비율을 인기도 점수 구간별로 보여줍니다 (NQ에서 훈련된 Adapt-LLM의 왼쪽 이미지와 SQuAD의 오른쪽 이미지). Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]는 인기도가 높은 질문은 LLM의 파라메트릭 메모리를 사용하여 적절히 답변할 수 있는 반면, 인기도 점수가 낮은 경우 추가적인 컨텍스트가 필요하다고 제안합니다. Figure 2에서 우리는 두 버전의 Adapt-LLM에 대해 이 패턴을 관찰할 수 있으며, 이는 우리 모델이 훈련이나 추론 중에 인기도 점수에 접근하지 못했음에도 불구하고 추가적인 컨텍스트를 요청하는 효과적인 기준을 학습했음을 나타냅니다.
추가 컨텍스트를 요청할 때 Adapt-LLM의 동작을 추가로 검증하기 위해 그림 2는 인기도 점수 간격별로 집계한, 우리 모델이 \(\langle\text{RET}\rangle\) 토큰을 생성하는 질문의 비율을 보여줍니다(왼쪽 이미지는 NQ로 학습된 Adapt-LLM의 경우, 오른쪽 이미지는 SQuAD의 경우). Mallen, Alex Troy, Asai, Akari, Zhong, Victor, Das, Rajarshi, Khashabi, Daniel, Hajishirzi, Hannaneh [22]는 인기도가 높은 질문은 LLM의 파라메트릭 메모리를 사용하여 적절하게 답변할 수 있는 반면, 인기도가 낮은 질문은 추가 컨텍스트가 필요하다고 제안합니다. 그림 2에서 두 버전의 Adapt-LLM 모두에서 이러한 패턴을 관찰할 수 있으며, 이는 학습 또는 추론 중에 인기도 점수에 대한 액세스 권한이 없음에도 불구하고 추가 컨텍스트 요청을 위한 효과적인 기준을 학습한 것임을 나타냅니다.