* In the first stage, we jointly optimize (1) and (2). Ranking by relevance and setting \(k=15\) achieve the lowest average Brier score. * In the second stage, we optimize (3) the reasoning prompt. We identify the top 3 prompts out of 15 candidates to elicit 3 predictions from our base model in our system; see Figure 15 for the best one.
* 1단계에서는 (1)과 (2)를 공동으로 최적화합니다. 관련성별 순위 지정 및 \(k=15\) 설정은 평균 Brier score를 가장 낮게 만듭니다. * 두 번째 단계에서는 (3) reasoning prompt를 최적화합니다. 시스템에서 기본 모델에서 3개의 예측을 이끌어내기 위해 15개의 후보 중 상위 3개의 prompt를 식별합니다(그림 15 참조).
* 1단계에서는 (1)과 (2)를 공동으로 최적화합니다. 관련성별 순위 지정 및 \(k=15\) 설정은 평균 브리어 점수를 가장 낮게 만듭니다. * 두 번째 단계에서는 (3) 추론 프롬프트를 최적화합니다. 시스템에서 기본 모델에서 3개의 예측을 이끌어내기 위해 15개의 후보 중 상위 3개의 프롬프트를 식별합니다(그림 15 참조).