Second, we study how using different orderings of top-5 contexts affects the results. We compare sequential ordering (from \(1\)st context to \(5\)th context) to reverse ordering (from \(5\)th to \(1\)st context), swing ordering (given the "lost in the middle" phenomenon, we arrange the most relevant context to appear at the beginning and the end of the input context. Hence, the ordering becomes \(\{1\)st, \(3\)rd, \(5\)th, \(4\)th, \(2\)nd\(\}\)), and random ordering (random shuffle the top-5 contexts). We find using sequential ordering is comparable to using reverse and swing orderings, and random shuffling is slightly worse. Results indicate that our model excels in extracting the correct answer from lengthy contexts, regardless of the answer's location. It is because during the ChatQA fine-tuning, the answer's location occurs randomly within the context.
둘째, 상위 5개 컨텍스트의 서로 다른 순서를 사용하는 것이 결과에 어떤 영향을 미치는지 연구합니다. 순차적 순서(\(1\)번째 컨텍스트부터 \(5\)번째 컨텍스트까지)와 역순서(\(5\)번째부터 \(1\)번째 컨텍스트까지), 스윙 순서(\("중간에 사라지는" 현상이 발생하면 가장 관련성이 높은 컨텍스트가 입력 컨텍스트의 시작과 끝에 표시되도록 배열합니다. 따라서 순서는 \(\{1\)번째, \(3\)번째, \(5\)번째, \(4\)번째, \(2\)번째\(\}\))가 되고, 무작위 순서(무작위로 상위 5개 컨텍스트를 섞음)가 됩니다. 순차적 순서를 사용하는 것이 역순서 및 스윙 순서를 사용하는 것과 비슷하며, 무작위 셔플은 약간 더 나쁘다는 것을 알 수 있습니다. 결과에 따르면, 답의 위치에 관계없이 모델이 긴 문맥에서 정답을 추출하는 데 탁월한 성능을 발휘합니다. 이는 ChatQA Fine-tuning 중에 답의 위치가 문맥 내에서 무작위로 발생하기 때문입니다.
둘째, 상위 5개 컨텍스트의 서로 다른 순서를 사용하는 것이 결과에 어떤 영향을 미치는지 연구합니다. 순차적 순서(\(1\)번째 컨텍스트부터 \(5\)번째 컨텍스트까지)와 역순서(\(5\)번째부터 \(1\)번째 컨텍스트까지), 스윙 순서(\("중간에 사라지는" 현상이 발생하면 가장 관련성이 높은 컨텍스트가 입력 컨텍스트의 시작과 끝에 표시되도록 배열합니다. 따라서 순서는 \(\{1\)번째, \(3\)번째, \(5\)번째, \(4\)번째, \(2\)번째\(\}\))가 되고, 무작위 순서(\{1\)번째, \(3\)번째, \(5\)번째, \(4\)번째, \(2\)번째\(\}\))가 됩니다. 순차적 순서를 사용하는 것이 역순서 및 스윙 순서를 사용하는 것과 비슷하며, 무작위 셔플은 약간 더 나쁘다는 것을 알 수 있습니다. 결과에 따르면, 답의 위치에 관계없이 모델이 긴 문맥에서 정답을 추출하는 데 탁월한 성능을 발휘합니다. 이는 ChatQA 미세 조정 중에 답의 위치가 문맥 내에서 무작위로 발생하기 때문입니다.