better outcomes when both approaches are applied concurrently. One primary factor of this comparable performance may be that RFT does not sample extensively, yet the critical steps in the reasoning paths remain largely unchanged from the ground truth. The primary distinctions of sampled new paths lie in relatively minor semantic variances, without significantly increasing the new observed connections among local variables (Prystawski et al., 2023). It allows us to attain comparable effects by employing masked reasoning paths, where we sample new skip-connection by dropping the intermediate steps. On the other hand, if we compare from the perspective of addressing exposure bias, RL's self-sampling provides careful supervision for the error-prone inference distribution, whereas MFT aims to directly prevent the model from learning the bias present in the ground truth. We provide additional introduction about RL and RFT in Appendix B.
두 가지 접근 방식을 동시에 적용할 때 더 나은 결과를 얻을 수 있습니다. 이러한 비슷한 성능의 주요 요인 중 하나는 RFT가 광범위하게 샘플링하지 않지만 추론 경로의 중요한 단계는 기준 실측과 크게 달라지지 않았기 때문일 수 있습니다. 샘플링된 새로운 경로의 주요 차이점은 상대적으로 사소한 의미적 차이에 있으며, 로컬 변수 간의 새로운 관찰 연결을 크게 늘리지 않습니다(Prystawski et al., 2023). 이를 통해 중간 단계를 삭제하여 새로운 스킵 연결을 샘플링하는 마스킹된 추론 경로를 사용하여 비슷한 효과를 얻을 수 있습니다. 반면, 노출 편향을 해결한다는 관점에서 비교한다면, Reinforcement Learning (RL)의 자체 샘플링은 오류가 발생하기 쉬운 추론 분포에 대한 신중한 감독을 제공하는 반면, MFT는 모델이 기준 실측에 존재하는 편향을 학습하는 것을 직접 방지하는 것을 목표로 합니다. RL과 RFT에 대한 추가 소개는 부록 B에서 확인할 수 있습니다.
두 가지 접근 방식을 동시에 적용할 때 더 나은 결과를 얻을 수 있습니다. 이러한 비슷한 성능의 주요 요인 중 하나는 RFT가 광범위하게 샘플링하지 않지만 추론 경로의 중요한 단계는 기준 실측과 크게 달라지지 않았기 때문일 수 있습니다. 샘플링된 새로운 경로의 주요 차이점은 상대적으로 사소한 의미적 차이에 있으며, 로컬 변수 간의 새로운 관찰 연결을 크게 늘리지 않습니다(Prystawski et al., 2023). 이를 통해 중간 단계를 삭제하여 새로운 스킵 연결을 샘플링하는 마스킹된 추론 경로를 사용하여 비슷한 효과를 얻을 수 있습니다. 반면, 노출 편향을 해결한다는 관점에서 비교한다면, RL의 자체 샘플링은 오류가 발생하기 쉬운 추론 분포에 대한 신중한 감독을 제공하는 반면, MFT는 모델이 기준 실측에 존재하는 편향을 학습하는 것을 직접 방지하는 것을 목표로 합니다. RL과 RFT에 대한 추가 소개는 부록 B에서 확인할 수 있습니다.