will be very similar to the ground truth. If the sampling is sufficient and the reward model is strong enough to find high-quality reasoning paths that may have better generality and conciseness, RL can achieve better results. This can be the reason why RFT which using much more samples performs similarly to ours, as RFT only samples for multiple paths at once and only uses outcome supervision.
지상 실측 자료와 매우 유사할 것입니다. 샘플링이 충분하고 보상 모델이 일반성과 간결성이 더 뛰어난 고품질 추론 경로를 찾을 수 있을 만큼 충분히 강력하다면 Reinforcement Learning (RL)은 더 나은 결과를 얻을 수 있습니다. 이는 훨씬 더 많은 샘플을 사용하는 RFT가 한 번에 여러 경로에 대해 샘플링하고 결과 감독만 사용하기 때문에 RFT가 우리와 비슷한 성능을 발휘하는 이유일 수 있습니다.
지상 실측 자료와 매우 유사할 것입니다. 샘플링이 충분하고 보상 모델이 일반성과 간결성이 더 뛰어난 고품질 추론 경로를 찾을 수 있을 만큼 충분히 강력하다면 RL은 더 나은 결과를 얻을 수 있습니다. 이는 훨씬 더 많은 샘플을 사용하는 RFT가 한 번에 여러 경로에 대해 샘플링하고 결과 감독만 사용하기 때문에 RFT가 우리와 비슷한 성능을 발휘하는 이유일 수 있습니다.