**Method 1 vs. Method 2**. We attempt to assess which one is more suitable for providing rewards for RL. For a fair comparison, we use the same evaluation data that was used in Method 2. Since Method 1 has 6 aspect categories, we obtain individual results using the best-performing approach and group them into two as we did for Method 2. Table 5 reports the accuracy, macro precision, macro recall, and macro F1 for Method 1 and Method 2. The results indicate that, although models from Method 2 are trained on a relatively small dataset, Method 2 is more aligned with human judgments compared to Method 1. Additionally, inference time using Method 2 is significantly faster than Method 1, making it easier to retrieve rewards in the RL setting. As a result, we use Method 2 for all our experiments.
**Method 1 vs. Method 2**. 우리는 어느 방법이 RL에 대한 보상을 제공하는 데 더 적합한지 평가하려고 합니다. 공정한 비교를 위해 Method 2에서 사용된 동일한 평가 데이터를 사용합니다. Method 1은 6개의 측면 카테고리를 가지고 있기 때문에, 최상의 성과를 내는 접근 방식을 사용하여 개별 결과를 얻고 이를 Method 2에서 했던 것처럼 두 그룹으로 나눕니다. Table 5는 Method 1과 Method 2의 정확도, 매크로 정밀도, 매크로 재현율, 매크로 F1을 보고합니다. 결과는 Method 2의 모델이 상대적으로 작은 데이터셋으로 훈련되었음에도 불구하고, Method 1에 비해 인간의 판단과 더 일치함을 나타냅니다. 또한, Method 2를 사용한 추론 시간이 Method 1보다 훨씬 빨라 RL 설정에서 보상을 더 쉽게 얻을 수 있습니다. 따라서 모든 실험에서 Method 2를 사용합니다.
**방법 1 대 방법 2**. 어떤 방법이 RL에 대한 보상을 제공하는 데 더 적합한지 평가하려고 합니다. 공정한 비교를 위해 방법 2에서 사용한 것과 동일한 평가 데이터를 사용합니다. 방법 1에는 6개의 측면 카테고리가 있으므로 최고 성능의 접근 방식을 사용하여 개별 결과를 얻고 방법 2에서와 같이 두 가지로 그룹화합니다. 표 5는 방법 1과 방법 2에 대한 정확도, 매크로 정밀도, 매크로 리콜 및 매크로 F1을 보고합니다. 그 결과, 방법 2의 모델은 상대적으로 작은 데이터 세트에서 학습되었지만 방법 1에 비해 방법 2가 사람의 판단에 더 부합하는 것으로 나타났습니다. 또한 방법 2를 사용한 추론 시간이 방법 1보다 훨씬 빠르므로 RL 설정에서 보상을 더 쉽게 검색할 수 있습니다. 따라서 모든 실험에 방법 2를 사용합니다.