**Selecting fine-tuning data.** We seek to fine-tune our model on strong forecasts. To select the data, we only keep outputs that give a lower Brier score than the crowd's. However, this can inadvertently cause overconfidence in our fine-tuned model. To mitigate this, we discard pairs where the prediction deviates by more than 0.15 from the crowd prediction, and we also average our prediction with the crowd prediction when constructing the target output.
**Selecting Fine-tuning data.** 우리는 강력한 예측에 대해 모델을 Fine-tune하고자 합니다. 데이터를 선택하기 위해 크라우드의 예측보다 Brier score가 낮은 출력만 유지합니다. 그러나 이로 인해 Fine-tuned 모델에 대한 과신이 발생할 수 있습니다. 이를 완화하기 위해 예측이 크라우드 예측에서 0.15 이상 벗어난 쌍은 버리고, 대상 출력을 구성할 때 크라우드 예측과 예측을 평균화합니다.
**미세 조정 데이터 선택**. 우리는 강력한 예측에 대해 모델을 미세 조정하고자 합니다. 데이터를 선택하기 위해 크라우드의 예측보다 브리어 점수가 낮은 출력만 유지합니다. 그러나 이로 인해 미세 조정된 모델에 대한 과신이 발생할 수 있습니다. 이를 완화하기 위해 예측이 크라우드 예측에서 0.15 이상 벗어난 쌍은 버리고, 대상 출력을 구성할 때 크라우드 예측과 예측을 평균화합니다.