Results:We evaluate the performance of each auto-rater configuration by comparing its predictions to the ground-truth labels (_Faithful_ and _Unt faithful_) from our human annotations. Due to the class imbalance, we report separate F1 scores for each label, split across claims generated by different LLMs, in Table 5.9 As a sanity check, the "no evidence" setting performs extremely poorly; more interestingly, human evidence underperforms both retrieval and the entire book setting, suggesting that the LLM requires more context to judge claim validity. The best performing auto-rater is Claude-3-Opus in the entire book setting, which significantly outperforms both GPT-4-Turbo in the same setting as well as BM25.
결과: 각 자동 평가자 구성의 성능을 사람이 작성한 주석의 실측 레이블(_Faithful_ 및 _Unt faithful_)과 비교하여 예측을 평가합니다. 클래스 불균형으로 인해 표 5.9에서 서로 다른 Large Language Models (LLMs)에서 생성된 클레임을 분할하여 각 레이블에 대한 별도의 F1 점수를 보고합니다. 건전성 검사로서, "증거 없음" 설정은 성능이 매우 떨어지며, 더 흥미롭게도 인간의 증거는 Retrieval 및 전체 책 설정 모두에서 성능이 저조하여 LLM이 클레임 유효성을 판단하기 위해 더 많은 컨텍스트가 필요하다는 것을 시사합니다. 가장 성능이 좋은 자동 평가자는 전체 책 설정에서 Claude-3-Opus이며, 동일한 설정의 GPT-4-Turbo와 BM25를 크게 능가합니다.
결과: 각 자동 평가자 구성의 성능을 사람이 작성한 주석의 실측 레이블(_Faithful_ 및 _Unt faithful_)과 비교하여 예측을 평가합니다. 클래스 불균형으로 인해 표 5.9에서 서로 다른 LLM에서 생성된 클레임을 분할하여 각 레이블에 대한 별도의 F1 점수를 보고합니다. 건전성 검사로서, "증거 없음" 설정은 성능이 매우 떨어지며, 더 흥미롭게도 인간의 증거는 검색 및 전체 책 설정 모두에서 성능이 저조하여 LLM이 클레임 유효성을 판단하기 위해 더 많은 컨텍스트가 필요하다는 것을 시사합니다. 가장 성능이 좋은 자동 평가자는 전체 책 설정에서 Claude-3-Opus이며, 동일한 설정의 GPT-4-Turbo와 BM25를 크게 능가합니다.