First, we find that using more contexts as inputs do not always improve the results. Utilizing top-5 contexts as input yields better results compared to using either top-3 or top-10 contexts. Intuitively, more contexts have higher probability to contain correct answers (better recall scores). As a result, using top-5 contexts achieves better results than using top-3. However, as the number of contexts further increases, the model may suffer from "lost in the middle" phenomenon (Liu et al., 2023) and the difficulty of extracting answers from the provided context could also increase, which leads to inferior results by using top-10 contexts.
먼저, 더 많은 contexts를 입력으로 사용하는 것이 항상 결과를 개선하는 것은 아닙니다. 상위 5개의 contexts를 입력으로 사용하는 것이 상위 3개 또는 상위 10개의 contexts를 사용하는 것보다 더 나은 결과를 산출합니다. 직관적으로 더 많은 contexts가 정답을 포함할 확률이 높아지므로(회상 점수 향상) 상위 5개 contexts를 사용하는 것이 상위 3개 contexts를 사용하는 것보다 더 나은 결과를 얻을 수 있습니다. 그러나 contexts의 수가 더 증가하면 모델이 "lost in the middle" 현상(Liu et al., 2023)을 겪을 수 있으며 제공된 contexts에서 답을 추출하는 것이 더 어려워질 수 있으므로 상위 10개 contexts를 사용하면 결과가 저하될 수 있습니다.
먼저, 더 많은 컨텍스트를 입력으로 사용하는 것이 항상 결과를 개선하는 것은 아닙니다. 상위 5개의 컨텍스트를 입력으로 사용하는 것이 상위 3개 또는 상위 10개의 컨텍스트를 사용하는 것보다 더 나은 결과를 산출합니다. 직관적으로 더 많은 컨텍스트가 정답을 포함할 확률이 높아지므로(회상 점수 향상) 상위 5개 컨텍스트를 사용하는 것이 상위 3개 컨텍스트를 사용하는 것보다 더 나은 결과를 얻을 수 있습니다. 그러나 컨텍스트의 수가 더 증가하면 모델이 "중간에서 손실" 현상(Liu et al., 2023)을 겪을 수 있으며 제공된 컨텍스트에서 답을 추출하는 것이 더 어려워질 수 있으므로 상위 10개 컨텍스트를 사용하면 결과가 저하될 수 있습니다.