Figure 21: A response from our fine-tuned model on the question “Will ‘Barbie’ gross 2x more than ‘Oppenheimer’ on opening weekend?”. The question resolved NO on July 24, 2023. On July 20, 2023, the community gave 73% and the response above gives 95%. In the original prompt (not shown here), our news retrieval provides projections that Barbie will likely outperform Oppenheimer at the box office. However, the model hallucinates them as facts (“[...] with figures exceeding the 2x mark”), resulting in overconfidence.
그림 21: "바비'가 개봉 주말에 '오펜하이머'보다 2배 이상 높은 수익을 올릴 것인가?"라는 질문에 대한 Fine-tuned 모델의 응답입니다. 이 질문은 2023년 7월 24일에 NO로 해결되었습니다. 2023년 7월 20일에 커뮤니티는 73%를, 위의 응답은 95%를 부여했습니다. 원래 프롬프트(여기에는 표시되지 않음)에서 뉴스 Retrieval는 '바비'가 박스오피스에서 '오펜하이머'를 능가할 것이라는 예측을 제공합니다. 그러나 모델은 이를 사실로 착각하여 "2배를 넘는 수치로 [...]"라고 과신하게 됩니다.
그림 21: "바비'가 개봉 주말에 '오펜하이머'보다 2배 이상 높은 수익을 올릴 것인가?"라는 질문에 대한 미세 조정된 모델의 응답입니다. 이 질문은 2023년 7월 24일에 NO로 해결되었습니다. 2023년 7월 20일에 커뮤니티는 73%를, 위의 응답은 95%를 부여했습니다. 원래 프롬프트(여기에는 표시되지 않음)에서 뉴스 검색은 '바비'가 박스오피스에서 '오펜하이머'를 능가할 것이라는 예측을 제공합니다. 그러나 모델은 이를 사실로 착각하여 "2배를 넘는 수치로 [...]"라고 과신하게 됩니다.