**Automatic Measurement for Rationale Quality.** Manual annotation offers substantial value, but within the context of RL, it becomes notably challenging due to frequent reward scoring. Therefore, we probe several ways to automate this process. Ye and Durrett (2022) introduced the simple yet effective approach for assessing factuality and relevance through token-level lexical overlap. We follow their method for factuality and relevance measurement. For the remaining 6 categories, two methods are considered. The first approach is to harness a large LM to function as reference-free NLG evaluators, inspired by recent works (_e.g._, Liu et al. (2023), Wang et al. (2023)). The second approach, in contrast, involves training a simple machine learning classifier using human-annotated data. Both approaches are comprehensively described in SS11.2. Due to inference time efficiency and higher alignment scores to human annotators (see Table 5), we resort to the second method for all our experiments.
**Automatic Measurement for Rationale Quality.** 수동 주석은 상당한 가치를 제공하지만, RL의 맥락에서 자주 보상 점수를 부여하기 때문에 상당히 어려워집니다. 따라서 이 프로세스를 자동화하는 몇 가지 방법을 모색합니다. Ye와 Durrett(2022)는 토큰 수준의 어휘적 중복을 통해 사실성과 관련성을 평가하는 간단하면서도 효과적인 접근 방식을 소개했습니다. 우리는 사실성 및 관련성 측정을 위해 이들의 방법을 따릅니다. 나머지 6가지 범주에 대해서는 두 가지 방법을 고려합니다. 첫 번째 접근 방식은 최근 연구(_예: Liu et al.(2023), Wang et al.(2023))에서 영감을 받아 대규모 LM을 활용하여 참조 없는 NLG 평가자로서 기능하는 것입니다. 반면에 두 번째 접근 방식은 사람이 주석을 단 데이터를 사용하여 간단한 머신 러닝 분류기를 훈련하는 것입니다. 두 가지 접근 방식에 대한 자세한 설명은 SS11.2에 나와 있습니다. 추론 시간 효율성과 인간 주석가에 대한 높은 정렬 점수(표 5 참조)로 인해 모든 실험에 두 번째 방법을 사용합니다.
**근거 품질에 대한 자동 측정**. 수동 주석은 상당한 가치를 제공하지만, RL의 맥락에서 자주 보상 점수를 부여하기 때문에 상당히 어려워집니다. 따라서 이 프로세스를 자동화하는 몇 가지 방법을 모색합니다. Ye와 Durrett(2022)는 토큰 수준의 어휘적 중복을 통해 사실성과 관련성을 평가하는 간단하면서도 효과적인 접근 방식을 소개했습니다. 우리는 사실성 및 관련성 측정을 위해 이들의 방법을 따릅니다. 나머지 6가지 범주에 대해서는 두 가지 방법을 고려합니다. 첫 번째 접근 방식은 최근 연구(_예: Liu et al.(2023), Wang et al.(2023))에서 영감을 받아 대규모 LM을 활용하여 참조 없는 NLG 평가자로서 기능하는 것입니다. 반면에 두 번째 접근 방식은 사람이 주석을 단 데이터를 사용하여 간단한 머신 러닝 분류기를 훈련하는 것입니다. 두 가지 접근 방식에 대한 자세한 설명은 SS11.2에 나와 있습니다. 추론 시간 효율성과 인간 주석가에 대한 높은 정렬 점수(표 5 참조)로 인해 모든 실험에 두 번째 방법을 사용합니다.