Claim verification with the entire booksWe prompt Claude-3-Opus and GPT-4-Turbo models with the entire book content and each claim in order to obtain the _Faithful_/_Unfaithful_ labels. Figure 10 shows confusion matrix comparing human labels to models' predictions. Table 32 presents a confusion matrix broken down by claim source (i.e., the model that generated the claim) and prediction model (Claude-3-Opus and GPT-4-Turbo). Figure 11 shows examples of misidentified labels by label-type and prediction model along with human labels and reasoning. Table 30 shows average precision (Pr) and recall (Re) broken down by model and book.
전체 책으로 Claim verification 클로드-3-오퍼스 및 GPT-4-터보 모델에 전체 책 콘텐츠와 각 클레임을 프롬프트하여 _Faithful_/_Unfaithful_ 레이블을 얻습니다. 그림 10은 인간 레이블과 모델 예측을 비교한 혼동 행렬을 보여줍니다. 표 32는 클레임 소스(즉, 클레임을 생성한 모델)와 예측 모델(Claude-3-Opus 및 GPT-4-Turbo)별로 세분화된 혼동 행렬을 제시합니다. 그림 11은 레이블 유형 및 예측 모델별로 잘못 식별된 레이블의 예와 인간 레이블 및 추론을 함께 보여줍니다. 표 30은 모델 및 책별로 세분화된 평균 정밀도(Pr)와 리콜(Re)을 보여줍니다.
전체 책으로 클레임 확인클로드-3-오퍼스 및 GPT-4-터보 모델에 전체 책 콘텐츠와 각 클레임을 프롬프트하여 _Faithful_/_Unfaithful_ 레이블을 얻습니다. 그림 10은 인간 레이블과 모델 예측을 비교한 혼동 행렬을 보여줍니다. 표 32는 클레임 소스(즉, 클레임을 생성한 모델)와 예측 모델(Claude-3-Opus 및 GPT-4-Turbo)별로 세분화된 혼동 행렬을 제시합니다. 그림 11은 레이블 유형 및 예측 모델별로 잘못 식별된 레이블의 예와 인간 레이블 및 추론을 함께 보여줍니다. 표 30은 모델 및 책별로 세분화된 평균 정밀도(Pr)와 리콜(Re)을 보여줍니다.