Dataset for experiments:Due to budget constraints associated with the "entire book" setting, we select seven books, each shorter than 125K tokens, to evaluate the performance of our auto-rater configurations. This results in 723 total claims, 69 of which are marked as _Unt faithful_ and 654 as _Faithful_ by our human annotators. Note that we do not consider partially supported or unverifiable claims in our experiments due to the increased subjectivity associated with these labels. Detailed information regarding this dataset and experiment costs can be found in SF.
실험을 위한 데이터셋: "전체 책" 설정과 관련된 예산 제약으로 인해, 우리는 각각 125K 토큰보다 짧은 일곱 권의 책을 선택하여 우리의 자동 평가 구성의 성능을 평가합니다. 이로 인해 총 723개의 주장 중 69개는 _Unt faithful_로, 654개는 _Faithful_로 인간 주석자에 의해 표시되었습니다. 이 실험에서는 이러한 레이블과 관련된 주관성이 증가하기 때문에 부분적으로 지원되거나 검증할 수 없는 주장은 고려하지 않았습니다. 이 데이터셋 및 실험 비용에 대한 자세한 정보는 SF에서 확인할 수 있습니다.
실험용 데이터 세트: "전체 책" 설정과 관련된 예산 제약으로 인해 토큰 수가 125K 미만인 7권의 책을 선정하여 자동 평가기 구성의 성능을 평가합니다. 그 결과 총 723개의 클레임이 생성되었으며, 이 중 69개는 _불충실_로, 654개는 _충실_로 인간 주석가에 의해 표시되었습니다. 이러한 레이블과 관련된 주관성이 높아지기 때문에 실험에서는 부분적으로 지원되거나 검증할 수 없는 클레임은 고려하지 않습니다. 이 데이터 세트 및 실험 비용에 대한 자세한 정보는 SF에서 확인할 수 있습니다.