**RL for Rationale Refinement.** We next detail how to utilize established evaluation metrics as reward signals to update the knowledge-distilled \(M^{*}\) with Proximal Policy Optimization (PPO) (Schulman et al., 2017). Given each input (\(q\), \(c\))-output (\(a\)) pair from training data, we first prompt \(M^{*}\) to generate a corresponding rationale \(r^{*}\). During the generation process, an aspect-specific reward (denoted as \(R_{aspect}\)) is measured by aggregating all values returned from automatic evaluation metrics.2 We then pass \(r^{*}\) to \(M^{L}\) to retrieve the answer prediction \(a^{*}\) and compute a task-specific reward (denoted as \(R_{taskAcc}\)).
**Rationale 구체화를 위한 RL**. 다음으로, 기존 평가 지표를 보상 신호로 활용하여 Proximal Policy Optimization (PPO)(Schulman et al., 2017)를 통해 지식이 압축된 \(M^{*}\)를 업데이트하는 방법을 자세히 설명합니다. 훈련 데이터의 각 입력(\(q\), \(c\))-출력(\(a\)) 쌍이 주어지면 먼저 \(M^{*}\)가 해당 Rationale \(r^{*}\)를 생성하도록 프롬프트합니다. 생성 과정에서 지표의 자동 평가에서 반환된 모든 값을 집계하여 측정하는 측면별 보상(R_{aspect}로 표시)을 생성합니다. 그런 다음 \(r^{*}\)를 \(M^{L}\)에 전달하여 답 예측 \(a^{*}\)을 검색하고 작업별 보상(R_{taskAcc}로 표시)을 계산합니다.
**근거 구체화를 위한 RL**. 다음으로, 기존 평가 지표를 보상 신호로 활용하여 근접 정책 최적화(PPO)(Schulman et al., 2017)를 통해 지식이 압축된 \(M^{*}\)를 업데이트하는 방법을 자세히 설명합니다. 훈련 데이터의 각 입력(\(q\), \(c\))-출력(\(a\)) 쌍이 주어지면 먼저 \(M^{*}\)가 해당 근거 \(r^{*}\)를 생성하도록 프롬프트합니다. 생성 과정에서 지표의 자동 평가에서 반환된 모든 값을 집계하여 측정하는 측면별 보상(R_{aspect}로 표시)을 생성합니다.2 그런 다음 \(r^{*}\)를 \(M^{L}\)에 전달하여 답 예측 \(a^{*}\)을 검색하고 작업별 보상(R_{taskAcc}로 표시)을 계산합니다.