Impact of front and back matter on the summary qualityBooks frequently contain additional information beyond the main narrative, including the author's biography, table of contents, dedications, and more, positioned at the beginning or the end of the book. Ideally, models should exclude this extraneous content, focusing solely on summarizing the core story. However, we have noted that models are sometimes unduly influenced by these elements, which can dominate a significant part of the summary and occasionally compromise its accuracy. Overall, between 19.23% (GPT-3.5-Turbo and GPT-4) and 34.62% (Mixtral) of summaries were affected by such content, either through focusing on this information,14 confusing story characters with names found in the front and/or back matter,15 or making up entire narrative based on a single mention.16Claude-3-Opus was the only model seemingly unaffected by the additional information. However, when faced with two summaries--where one primarily summarized the content of the back matter, since it represented the final chunk--the model declined to perform the task. We regard this cautious approach as preferable to introducing unfounded details or irrelevant content. Examples of such cases are shown in Table 24.
서론 및 결론이 요약 품질에 미치는 영향
책은 종종 저자의 전기, 목차, 헌사 등 주요 서사 외의 추가 정보를 포함하며, 이는 책의 시작이나 끝에 위치합니다. 이상적으로는 모델이 이러한 불필요한 내용을 제외하고 핵심 이야기를 요약하는 데 집중해야 합니다. 그러나 우리는 모델이 때때로 이러한 요소에 과도하게 영향을 받아 요약의 상당 부분을 차지하거나 때로는 정확성을 저해하는 경우를 관찰했습니다. 전체적으로 19.23% (GPT-3.5-Turbo 및 GPT-4)에서 34.62% (Mixtral)의 요약이 이러한 내용에 영향을 받았으며, 이는 이 정보를 중심으로 요약하거나, 이야기 속 인물과 서론 및 결론에 나오는 이름을 혼동하거나, 단 한 번의 언급을 바탕으로 전체 이야기를 만들어내는 경우가 포함됩니다. Claude-3-Opus는 추가 정보에 영향을 받지 않는 유일한 모델이었습니다. 그러나 두 개의 요약 중 하나가 주로 결론의 내용을 요약한 경우, 모델은 작업 수행을 거부했습니다. 우리는 이러한 신중한 접근이 근거 없는 세부 사항이나 관련 없는 내용을 도입하는 것보다 바람직하다고 생각합니다. 이러한 사례의 예는 표 24에 나와 있습니다.
앞머리 및 뒷머리가 요약 품질에 미치는 영향책에는 저자의 약력, 목차, 헌정문 등 주요 서술 외의 추가 정보가 책의 시작 부분이나 끝 부분에 포함되어 있는 경우가 많습니다. 이상적으로는 모델은 이러한 부수적인 콘텐츠를 제외하고 핵심 스토리만 요약하는 데 집중해야 합니다. 그러나 모델이 이러한 요소에 지나치게 영향을 받아 요약의 상당 부분을 차지하고 때로는 정확성을 저해하는 경우가 있는 것으로 나타났습니다. 전체적으로 19.23%(GPT-3.5-Turbo 및 GPT-4)에서 34.62%(Mixtral) 사이의 요약이 이러한 콘텐츠의 영향을 받았는데, 이는 이러한 정보에 집중하거나,14 스토리 캐릭터를 앞/뒷부분에서 발견한 이름과 혼동하거나,15 단 한 번의 언급을 바탕으로 전체 내러티브를 만들어내는 경우16클로드-3-오퍼스는 추가 정보의 영향을 받지 않는 것으로 보이는 유일한 모델이었습니다. 그러나 두 개의 요약이 주어졌을 때, 한 요약은 주로 뒷부분의 내용을 요약했기 때문에 마지막 덩어리를 나타냈을 때 모델은 작업을 수행하지 않았습니다. 저자는 이러한 신중한 접근 방식이 근거 없는 세부 사항이나 관련 없는 내용을 소개하는 것보다 바람직하다고 생각합니다. 이러한 사례의 예는 표 24에 나와 있습니다.