**Differences in Sampling Compared to Online RL.** Standard auto-regressive sampling can bring more reasoning paths to one query. However, we find that the sampled reasoning paths have minor differences in Fig. 7, such as word substitution (orange part), rewriting of formulas (red part), rearrangement of syntax (brown part), but the correct intermediate steps are consistent (green part).
**온라인 RL과 비교한 샘플링의 차이점.** 표준 자동 회귀 샘플링은 하나의 쿼리에 대해 더 많은 추론 경로를 가져올 수 있습니다. 그러나 우리는 샘플링된 추론 경로가 그림 7에서 단어 대체(주황색 부분), 공식 재작성(빨간색 부분), 구문 재배열(갈색 부분)과 같은 사소한 차이점이 있지만, 올바른 중간 단계는 일관되게 유지된다는 것을 발견했습니다(녹색 부분).
**온라인 RL과 비교한 샘플링의 차이점.** 표준 자동 회귀 샘플링은 하나의 쿼리에 더 많은 추론 경로를 가져올 수 있습니다. 그러나 샘플링된 추론 경로는 Fig. 7에서 단어 대체(주황색 부분), 공식 재작성(빨간색 부분), 구문 재배열(갈색 부분) 등 사소한 차이가 있지만 올바른 중간 단계는 일관성이 있습니다(녹색 부분).