**What other errors, beyond faithfulness, do LLM summarizers make? (SS5)** By coding all of the summary-level free-form comments in Tables, we find that annotators frequently point out _omissions_ of critical information. We develop the first taxonomy of omission errors in book-length summarization and observe that key events, details, and themes are frequently omitted by all LLMs. We also observe other content selection errors: for example, even our strongest summarizers, Claude-3-Opus and GPT-4-Turbo, over-emphasize content towards the end of books to the detriment of the beginning.
**LLM summarizers가 충실성 외에 저지르는 다른 오류는 무엇인가요? (SS5)** 표에 요약 수준의 자유 형식 주석을 모두 코딩한 결과, 주석 작성자가 중요 정보의 _누락_을 자주 지적하는 것을 발견했습니다. 저서 길이의 요약에서 최초의 누락 오류 분류법을 개발하여 모든 LLM에서 핵심 사건, 세부 사항 및 주제가 자주 누락되는 것을 관찰했습니다. 또한 다른 콘텐츠 선택 오류도 관찰했습니다. 예를 들어, 가장 강력한 요약기인 Claude-3-Opus와 GPT-4-Turbo는 책의 시작 부분에 치우치지 않고 책의 마지막 부분에 있는 콘텐츠를 지나치게 강조하는 경우가 많았습니다.
**LLM 요약기가 충실성 외에 저지르는 다른 오류는 무엇인가요? (SS5)** 표에 요약 수준의 자유 형식 주석을 모두 코딩한 결과, 주석 작성자가 중요 정보의 _누락_을 자주 지적하는 것을 발견했습니다. 저서 길이의 요약에서 최초의 누락 오류 분류법을 개발하여 모든 LLM에서 핵심 사건, 세부 사항 및 주제가 자주 누락되는 것을 관찰했습니다. 또한 다른 콘텐츠 선택 오류도 관찰했습니다. 예를 들어, 가장 강력한 요약기인 Claude-3-Opus와 GPT-4-Turbo는 책의 시작 부분에 치우치지 않고 책의 마지막 부분에 있는 콘텐츠를 지나치게 강조하는 경우가 많았습니다.