The annotators used a customized interface,5 which provided them full access to the book text for reference. Each annotator was assigned to annotate all five LLM-generated summaries for their assigned book, which were presented in a randomized order. Annotators received $200 for this task, which took \(\sim\)11 hours to complete (STD=6.34). In total, Fables contains 3,158 annotated claims from 130 summaries across 26 books at a cost of $5.2K USD.
주석 작성자는 참조를 위해 책 텍스트에 대한 전체 액세스 권한을 제공하는 사용자 지정 인터페이스5를 사용했습니다. 각 주석 작성자는 무작위 순서로 제시된 할당된 책에 대해 LLM이 생성한 5개의 요약을 모두 주석 달기로 할당받았습니다. 주석 작성자는 이 작업에 대해 $200를 받았으며, 완료하는 데 약 11시간이 걸렸습니다(STD=6.34). 총 26권의 책에서 130개의 요약에 3,158개의 주석이 달린 Fables에는 $5.2K USD의 비용이 들었습니다.
주석 작성자는 참조를 위해 책 텍스트에 대한 전체 액세스 권한을 제공하는 사용자 지정 인터페이스5를 사용했습니다. 각 주석 작성자는 무작위 순서로 제시된 할당된 책에 대해 LLM이 생성한 5개의 요약을 모두 주석 달기로 할당받았습니다. 주석 작성자는 이 작업에 대해 200달러를 받았으며, 완료하는 데 약 11시간이 걸렸습니다(STD=6.34). 총 26권의 책에서 130개의 요약에 3,158개의 주석이 달린 페이블스에는 5.2만 달러의 비용이 들었습니다.