Exploring omission errors:As mentioned above, omission of key information plagues all LLM summarizers. To better understand the nature of the omission errors identified by our annotators, we categorize them into the following categories: _characters_, _events_, _details_, _relationships_, _themes_.12 Figure 4 shows a heatmap of omission errors broken down by model. A large proportion of summaries (33.3% to 65.4%) lack mentions of key events, creating gaps in the overall narrative, and we also note omissions of significant details about the characters, events, or objects (16.7% to 38.5%). Furthermore, GPT-4-Turbo and Mlxtral have a tendency to entirely omit mentions of crucial characters (23.1%).
누락 오류 탐색: 앞서 언급한 바와 같이, 주요 정보의 누락은 모든 LLM 요약기에서 문제를 일으킵니다. 우리 주석자들이 식별한 누락 오류의 성격을 더 잘 이해하기 위해, 우리는 이를 다음과 같은 범주로 분류합니다: _캐릭터_, _이벤트_, _세부사항_, _관계_, _주제_. Figure 4는 모델별로 분류된 누락 오류의 히트맵을 보여줍니다. 많은 요약본(33.3%에서 65.4%)이 주요 이벤트 언급을 결여하고 있어 전체 서사에 공백을 만들고 있으며, 캐릭터, 이벤트 또는 객체에 대한 중요한 세부사항의 누락(16.7%에서 38.5%)도 확인됩니다. 또한, GPT-4-Turbo와 Mlxtral은 중요한 캐릭터 언급을 완전히 누락하는 경향이 있습니다(23.1%).
누락 오류 탐색: 위에서 언급했듯이 주요 정보의 누락은 모든 LLM 요약기에 문제가 됩니다. 주석 작성자가 확인한 누락 오류의 특성을 더 잘 이해하기 위해 _인물_, _이벤트_, _세부 사항_, _관계_, _주제_의 다음 범주로 분류했습니다.12 그림 4는 모델별로 분류된 누락 오류의 히트맵을 보여줍니다. 요약의 상당수(33.3%~65.4%)에 주요 사건에 대한 언급이 없어 전체 내러티브에 공백이 생기고, 인물, 사건 또는 사물에 대한 중요한 세부 사항도 누락되는 경우가 많았습니다(16.7%~38.5%). 또한 GPT-4-Turbo와 Mlxtral은 중요한 인물에 대한 언급을 완전히 생략하는 경향이 있습니다(23.1%).