Figure 17: A response of the fine-tuned model on the question “Will Kevin McCarthy resign from the House by Nov 30?” (resolved NO) at the last retrieval index. Inspecting the original prompt (not shown here), we notice that our retrieval system presents articles, published on November 30, that clearly state that no official announcement had yet been made about Kevin McCarthy’s potential resignation. On the day of November, 30, the community prediction had dropped to 1%, but our system hedges by claiming 20%.
그림 17: "Will Kevin McCarthy resign from the House by Nov 30?"라는 질문에 대한 Fine-tuned 모델의 응답입니다(결과 NO). 마지막 retrieval index에서 원래 prompt를 검사하면(여기에는 표시되지 않음) 우리 retrieval 시스템이 11월 30일에 게시된 기사를 통해 Kevin McCarthy의 잠재적 사임에 대한 공식 발표가 아직 이루어지지 않았다고 명확하게 명시하고 있음을 알 수 있습니다. 11월 30일에 커뮤니티 예측은 1%로 떨어졌지만, 우리 시스템은 20%를 주장함으로써 헤지합니다.
그림 17: "케빈 매카시가 11월 30일까지 하원에서 사임할 것인가?"라는 질문에 대한 미세 조정된 모델의 응답입니다(결과 NO). 마지막 검색 인덱스에서 원래 프롬프트를 검사하면(여기에는 표시되지 않음) 우리 검색 시스템이 11월 30일에 게시된 기사를 통해 케빈 매카시의 잠재적 사임에 대한 공식 발표가 아직 이루어지지 않았다고 명확하게 명시하고 있음을 알 수 있습니다. 11월 30일에 커뮤니티 예측은 1%로 떨어졌지만, 우리 시스템은 20%를 주장함으로써 헤지합니다.