As shown in Figure 2, the implementation of RL enables the model to achieve additional improvements in both rationale qualities and task performance. However, in line with Joshi et al. (2023)'s findings, a slight decrease in task performance is observed at the cost of maximized rationale qualities when selecting top-quality rationales. There may be several underlying factors involved (e.g., models' unfaithfulness), but this is not the scope of this work.
Figure 2에서 볼 수 있듯이, RL의 구현은 모델이 논리적 품질과 작업 성능 모두에서 추가적인 향상을 이루도록 합니다. 그러나 Joshi et al. (2023)의 연구 결과와 일치하게, 최고 품질의 논리를 선택할 때 논리적 품질이 극대화되는 대가로 작업 성능이 약간 감소하는 현상이 관찰됩니다. 여기에는 여러 가지 근본적인 요인들(예: 모델의 불성실성)이 있을 수 있지만, 이는 본 연구의 범위에 포함되지 않습니다.
그림 2와 같이, RL을 구현하면 모델이 근거 품질과 작업 성능 모두에서 추가적인 개선을 달성할 수 있습니다. 그러나 Joshi 등(2023)의 연구 결과에 따르면, 최고 품질의 근거를 선택할 때 근거 품질이 극대화되는 대가로 작업 성능이 약간 감소하는 것으로 나타났습니다. 여기에는 여러 가지 근본적인 요인(예: 모델의 불성실성)이 관련되어 있을 수 있지만, 이는 본 연구의 범위가 아닙니다.