**Article ordering and count.** In this step, we sweep over both orderings of articles (by recency or relevance), and over 5 candidate choices of \(k\in[5,10,15,20,30]\). We run our full system on all questions in the validation set. Presenting 15 article summaries and ordering them by relevance gives the lowest Brier score of 0.177 on GPT-4-1106-Preview. Similar performance can be achieved by presenting 20 articles summaries.
**Article ordering and count.** 이 단계에서는 기사의 최근순 또는 관련성 순으로 5개의 후보 선택지 중 \(k\in[5,10,15,20,30]\)를 모두 순회합니다. 유효성 검사 집합의 모든 질문에 대해 전체 시스템을 실행합니다. 15개의 문서 요약을 제시하고 관련성에 따라 순서를 지정하면 GPT-4-1106-Preview에서 0.177의 가장 낮은 Brier score를 얻을 수 있습니다. 20개의 문서 요약을 제시하면 비슷한 성능을 얻을 수 있습니다.
**기사 주문 및 카운트**. 이 단계에서는 기사의 최근순 또는 관련성 순으로 5개의 후보 선택지 중 \(k\in[5,10,15,20,30]\)를 모두 순회합니다. 유효성 검사 집합의 모든 질문에 대해 전체 시스템을 실행합니다. 15개의 문서 요약을 제시하고 관련성에 따라 순서를 지정하면 GPT-4-1106-Preview에서 0.177의 가장 낮은 브리어 점수를 얻을 수 있습니다. 20개의 문서 요약을 제시하면 비슷한 성능을 얻을 수 있습니다.