**Annotation for Rationale Quality Measurement.** Inspired by previous text and rationale generation evaluation metrics (Golovneva et al., 2022; Fu et al., 2023), we attempt to quantify 8 linguistic aspects (factuality, relevance, logicality, consistency, coherence, fluency, naturalness, readability) of rationales generated by \(M^{*}\) in SS3.1. Let us denote \(r^{*}\) as generated reasoning. Since there is no ground truth rationale \(r\) available for comparison, our metrics are reference-free, utilizing a pair of \(r^{*}\) and one of existing inputs (\(q\) or \(c\)). Table 1 describes each aspect type and input combinations. As we intend to use these metrics for reward scoring in RL, it is critical to have an accurate metric. Hence, we obtain a small set (n=100) of gold labels for all aspect types through human annotation. A detailed description of the annotation process and results is reported in SS11.1.
**Annotation for Rationale Quality Measurement.** 이전의 텍스트 및 근거 생성 평가 지표(Golovneva et al., 2022; Fu et al., 2023)에서 영감을 받아 SS3.1에서 \(M^{*}\)에 의해 생성된 근거의 8가지 언어적 측면(사실성, 관련성, 논리성, 일관성, 일관성, 일관성, 유창성, 자연성, 가독성)을 정량화하고자 합니다. r\*)을 생성된 추론으로 표시해 보겠습니다. 비교를 위해 사용할 수 있는 기준 진실 근거 \(r\)이 없기 때문에, 우리의 메트릭은 참조가 없는 메트릭으로, \(r\*)과 기존 입력 중 하나(\(q\) 또는 \(c\))를 쌍으로 활용합니다. 표 1은 각 측면 유형과 입력 조합을 설명합니다. 이러한 메트릭을 Reinforcement Learning에서 보상 점수에 사용하려는 목적에서 정확한 메트릭을 갖는 것이 중요합니다. 따라서 인간 주석을 통해 모든 측면 유형에 대해 소규모 세트(n=100)의 골드 레이블을 얻습니다. 주석 프로세스 및 결과에 대한 자세한 설명은 SS11.1에 보고되어 있습니다.
**근거 품질 측정을 위한 주석.** 이전의 텍스트 및 근거 생성 평가 지표(Golovneva et al., 2022; Fu et al., 2023)에서 영감을 받아 SS3.1에서 \(M^{*}\)에 의해 생성된 근거의 8가지 언어적 측면(사실성, 관련성, 논리성, 일관성, 일관성, 일관성, 유창성, 자연성, 가독성)을 정량화하고자 합니다. r\*)을 생성된 추론으로 표시해 보겠습니다. 비교를 위해 사용할 수 있는 기준 진실 근거 \(r\)이 없기 때문에, 우리의 메트릭은 참조가 없는 메트릭으로, \(r\*)과 기존 입력 중 하나(\(q\) 또는 \(c\))를 쌍으로 활용합니다. 표 1은 각 측면 유형과 입력 조합을 설명합니다. 이러한 메트릭을 RL에서 보상 점수에 사용하려는 목적에서 정확한 메트릭을 갖는 것이 중요합니다. 따라서 인간 주석을 통해 모든 측면 유형에 대해 소규모 세트(n=100)의 골드 레이블을 얻습니다. 주석 프로세스 및 결과에 대한 자세한 설명은 SS11.1에 보고되어 있습니다.