How do annotators perceive the task?Annotators highlighted several challenges in assessing the summaries, particularly when dealing with broad claims about themes rather than specific plot points, making it difficult to find relevant supporting evidence within the text. Abstract concepts, like emotions or thematic claims, posed significant obstacles, with some annotators struggling to locate quotations that precisely supported or refuted these claims. They also pointed out the difficulty of evaluating claims that were only partially true, which required more detailed support (see Table 4 for actual comments).
주석 달기 어노테이터는 이 작업을 어떻게 인식하나요? Annotators는 특히 구체적인 줄거리 포인트가 아닌 주제에 대한 광범위한 주장을 다룰 때 요약을 평가하는 데 있어 몇 가지 어려움을 강조하여 텍스트 내에서 관련 근거를 찾기가 어렵다는 점을 지적했습니다. 감정이나 주제적 주장과 같은 추상적인 개념은 상당한 장애물이었으며, 일부 Annotators는 이러한 주장을 정확하게 뒷받침하거나 반박하는 인용문을 찾는 데 어려움을 겪었습니다. 또한 부분적으로만 사실인 주장을 평가하는 것도 어려웠는데, 이를 위해서는 더 자세한 근거가 필요했습니다(실제 의견은 표 4 참조).
주석 달기 어노테이터는 이 작업을 어떻게 인식하나요? 주석 달기자들은 특히 구체적인 줄거리 포인트가 아닌 주제에 대한 광범위한 주장을 다룰 때 요약을 평가하는 데 있어 몇 가지 어려움을 강조하여 텍스트 내에서 관련 근거를 찾기가 어렵다는 점을 지적했습니다. 감정이나 주제적 주장과 같은 추상적인 개념은 상당한 장애물이었으며, 일부 주석가들은 이러한 주장을 정확하게 뒷받침하거나 반박하는 인용문을 찾는 데 어려움을 겪었습니다. 또한 부분적으로만 사실인 주장을 평가하는 것도 어려웠는데, 이를 위해서는 더 자세한 근거가 필요했습니다(실제 의견은 표 4 참조).