In the paper, we adopt a new approach for highlighting improvements within tables, moving beyond the standard practice of specifying a static improvement threshold in metric \(y\) by score \(x\). Instead, our threshold is dynamic, calibrated to the minimal metric difference \(x\) in metric \(y\) that yields a perceptible distinction between two systems as recognized by humans (Kocmi et al., 2024). For instance, to align with human judgments at an 80% concordance rate, the required improvement margin is \(\geq 1.24\) for both KWI-XXL and COMET-XXL, and \(\geq 0.53\) for KWI-22. A comprehensive delineation of these thresholds can be found in Table 13.
이 논문에서는 표 내에서 개선 사항을 강조하기 위해 새로운 접근 방식을 채택하여 점수 \(x\)의 metric \(y\)에서 정적 개선 임계값을 지정하는 표준 관행을 넘어섰습니다. 대신, 우리의 임계값은 인간이 인식하는 두 시스템 간에 인지할 수 있는 차이를 산출하는 metric \(y\)의 최소 metric 차이 \(x\)에 맞춰 동적으로 보정됩니다(Kocmi 외., 2024). 예를 들어, 80%의 일치율로 인간의 판단에 맞추기 위해서는 KWI-XXL과 COMET-XXL의 경우 \(\geq 1.24\), KWI-22의 경우 \(\geq 0.53\)의 개선 마진이 필요합니다. 이러한 임계값에 대한 자세한 설명은 표 13에서 확인할 수 있습니다.
이 논문에서는 표 내에서 개선 사항을 강조하기 위해 새로운 접근 방식을 채택하여 점수 \(x\)의 메트릭 \(y\)에서 정적 개선 임계값을 지정하는 표준 관행을 넘어섰습니다. 대신, 우리의 임계값은 인간이 인식하는 두 시스템 간에 인지할 수 있는 차이를 산출하는 메트릭 \(y\)의 최소 메트릭 차이 \(x\)에 맞춰 동적으로 보정됩니다(Kocmi 외., 2024). 예를 들어, 80%의 일치율로 인간의 판단에 맞추기 위해서는 KWI-XXL과 COMET-XXL의 경우 \(\geq 1.24\), KWI-22의 경우 \(\geq 0.53\)의 개선 마진이 필요합니다. 이러한 임계값에 대한 자세한 설명은 표 13에서 확인할 수 있습니다.