Recall that in our baseline evaluation (Section 3.4), the lowest Brier score attained by any model is.208. Our ablated system essentially deteriorates to this baseline level. Indeed, without any fine-tuning or retrieval, the only expected advantage of our system over the baseline evaluation setup is its reasoning prompt, found through searching a set of candidate prompts (Section 5). The experiment suggests that this gives fairly a minor improvement.
기본 평가(섹션 3.4)에서 모든 모델에서 달성한 가장 낮은 Brier score는 .208입니다. 우리의 절제된 시스템은 본질적으로 이 baseline 수준으로 악화됩니다. 실제로 Fine-tuning이나 retrieval 없이도 후보 프롬프트 집합 검색(섹션 5)을 통해 찾은 reasoning prompt만으로도 baseline 평가 설정보다 시스템의 유일한 장점은 상당히 사소한 개선이라는 실험을 통해 알 수 있습니다.
기본 평가(섹션 3.4)에서 모든 모델에서 달성한 가장 낮은 브리어 점수는 .208입니다. 우리의 절제된 시스템은 본질적으로 이 기본 수준으로 악화됩니다. 실제로 미세 조정이나 검색 없이도 후보 프롬프트 집합 검색(섹션 5)을 통해 찾은 추론 프롬프트만으로도 기본 평가 설정보다 시스템의 유일한 장점은 상당히 사소한 개선이라는 실험을 통해 알 수 있습니다.