We prompt GPT-4-1106-Preview with the optimal scratchpad prompt (Figure 15), along with the 2 next best scratchpad prompts identified in Section 5.2. For our fine-tuned model, we set temperature \(T=0.5\) and prompt it 3 times to sample 3 additional forecasts. This gives us 6 forecasts in total: 3 from the base model, and 3 from the fine-tuned model. Given these forecasts, the system ensembles them into a final prediction by taking their trimmed mean, as this performs best on the validation set among the ensemble methods we implement (see Section 5.2 on ensembling).
최적의 scratchpad prompt(그림 15)와 함께 섹션 5.2에서 확인된 차선책 scratchpad prompt 2개를 GPT-4-1106-Preview에 prompt합니다. Fine-tuned 모델의 경우 온도 \(T=0.5\)를 설정하고 3번 prompt하여 3개의 예측을 추가로 샘플링합니다. 이렇게 하면 기본 모델에서 3개, Fine-tuned 모델에서 3개의 예측을 총 6개의 예측으로 얻을 수 있습니다. 이러한 예측이 주어지면 시스템은 이를 trimmed mean으로 하여 최종 예측으로 앙상블화하는데, 이는 구현한 앙상블 방법 중 유효성 검사 세트에서 가장 우수한 성능을 보입니다(앙상블에 대한 자세한 내용은 섹션 5.2 참조).
최적의 스크래치패드 프롬프트(그림 15)와 함께 섹션 5.2에서 확인된 차선책 스크래치패드 프롬프트 2개를 GPT-4-1106-Preview에 프롬프트합니다. 미세 조정된 모델의 경우 온도 \(T=0.5\)를 설정하고 3번 프롬프트하여 3개의 예측을 추가로 샘플링합니다. 이렇게 하면 기본 모델에서 3개, 미세 조정된 모델에서 3개의 예측을 총 6개의 예측으로 얻을 수 있습니다. 이러한 예측이 주어지면 시스템은 이를 트림 평균으로 하여 최종 예측으로 앙상블화하는데, 이는 구현한 앙상블 방법 중 유효성 검사 세트에서 가장 우수한 성능을 보입니다(앙상블에 대한 자세한 내용은 섹션 5.2 참조).