General issues with LLM-generated summaries:Table 6 summarizes the percentage of summaries affected by specific issues as per annotators' comments.11 Our analysis shows that every LLM makes chronological errors, though these were less pronounced in models with extended context (Claude-3-Opus and GPT-4-Turbo). All models were also criticized for omitting important information, with Claude-3-Opus being the least affected (52%), compared to 80.8% and 84.6% for GPT-4-Turbo and GPT-3.5-Turbo, respectively. The least faithful models, GPT-3.5-Turbo and Mlxtral, also both have a tendency to generate overly generic statements (38.5%). Finally, we look also at cases where the summary was explicitly praised for being good or comprehensive. Claude-3-Opus received the most praise (48% and 54% respectively), while GPT-3.5-Turbo received the least (11.5% and 15.4% respectively).
LLM이 생성한 요약의 일반적인 문제:표 6은 주석 작성자의 의견에 따라 특정 문제로 인해 영향을 받은 요약의 비율을 요약한 것입니다.11 분석 결과, 모든 LLM이 시간적 오류를 범하지만, 이는 컨텍스트가 확장된 모델(Claude-3-Opus 및 GPT-4-Turbo)에서 덜 두드러졌습니다. 또한 모든 모델이 중요한 정보를 생략하는 것으로 비판받았는데, Claude-3-Opus의 영향은 52%로 가장 적었고, GPT-4-Turbo와 GPT-3.5-Turbo의 영향은 각각 80.8%와 84.6%로 가장 많았습니다. 가장 충실하지 않은 모델인 GPT-3.5-Turbo와 Mlxtral은 모두 지나치게 일반적인 진술을 생성하는 경향이 있었습니다(38.5%). 마지막으로 요약이 좋거나 포괄적이라는 칭찬을 받은 사례도 살펴봅니다. Claude-3-Opus가 가장 많은 칭찬을 받았으며(각각 48%와 54%), GPT-3.5-Turbo가 가장 적은 칭찬을 받았습니다(각각 11.5%와 15.4%).
LLM이 생성한 요약의 일반적인 문제:표 6은 주석 작성자의 의견에 따라 특정 문제로 인해 영향을 받은 요약의 비율을 요약한 것입니다.11 분석 결과, 모든 LLM이 시간적 오류를 범하지만, 이는 컨텍스트가 확장된 모델(Claude-3-Opus 및 GPT-4-Turbo)에서 덜 두드러졌습니다. 또한 모든 모델이 중요한 정보를 생략하는 것으로 비판받았는데, 클라우드-3-오퍼스의 영향은 52%로 가장 적었고, GPT-4-터보와 GPT-3.5-터보의 영향은 각각 80.8%와 84.6%로 가장 많았습니다. 가장 충실하지 않은 모델인 GPT-3.5-Turbo와 Mlxtral은 모두 지나치게 일반적인 진술을 생성하는 경향이 있었습니다(38.5%). 마지막으로 요약이 좋거나 포괄적이라는 칭찬을 받은 사례도 살펴봅니다. 클라우드-3-오퍼스가 가장 많은 칭찬을 받았으며(각각 48%와 54%), GPT-3.5-터보가 가장 적은 칭찬을 받았습니다(각각 11.5%와 15.4%).