Prompting LLMs with large chunks (_entire books_) to evaluate the faithfulness of each claim is prohibitively expensive (see SSF.5). Hence, for this experiment, we select 7 books based on: (1) token length (\(<\)125K), and (2) presence of at least one _Unfaithful_ claim. This sub-dataset includes: (1) "Yellowface," (2) "Only For The Week," (3) "Viciously Yours," (4) "Six Scorched Roses," (5) "Sorrow and Bliss," (6) "She Is a Haunting," and (7) "Pet." Table Table 31 shows the number of claims per label in the sub-dataset. Further details on each book can be found in Table 7.
LLMs에 큰 덩어리의 텍스트(전체 책)를 사용하여 각 주장에 대한 신뢰성을 평가하는 것은 비용이 매우 많이 듭니다(SSF.5 참조). 따라서 이 실험에서는 다음 기준에 따라 7권의 책을 선택했습니다: (1) 토큰 길이(\(<\)125K), (2) 적어도 하나의 _Unfaithful_ 주장이 포함되어 있는지. 이 하위 데이터셋에는 다음이 포함됩니다: (1) "Yellowface," (2) "Only For The Week," (3) "Viciously Yours," (4) "Six Scorched Roses," (5) "Sorrow and Bliss," (6) "She Is a Haunting," 그리고 (7) "Pet." Table 31은 하위 데이터셋에서 레이블별 주장 수를 보여줍니다. 각 책에 대한 추가 세부 사항은 Table 7에서 확인할 수 있습니다.
각 주장의 충실성을 평가하기 위해 큰 덩어리(_전체 책_)로 LLM을 프롬프트하는 것은 비용이 너무 많이 듭니다(SSF.5 참조). 따라서 이 실험에서는 (1) 토큰 길이(\(<\)125K)와 (2) 하나 이상의 _불충실_ 주장이 있는지 여부를 기준으로 7권의 책을 선정합니다. 이 하위 데이터 세트에는 (1) "옐로우페이스", (2) "한 주 동안만", (3) "악랄하게 당신", (4) "여섯 개의 그을린 장미", (5) "슬픔과 기쁨", (6) "그녀는 유령이다", (7) "애완동물"이 포함됩니다. 표 31은 하위 데이터 세트의 레이블별 클레임 수를 보여줍니다. 각 책에 대한 자세한 내용은 표 7에서 확인할 수 있습니다.