Therefore, for queries in the dataset, each of them already includes a ground truth response, which can provide rich process supervision signals of correct intermediate steps. MFT does not sample new correct reasoning steps but rather different preceding reasoning steps, allowing the model to predict the correct steps given different contexts. In short, the online RL sample new **actions** and **states** in a Markov Decision Process, while we sampled the **state** to make it partially observed. Adding noise to the **state** is verified to be helpful in generalizing for offline RL (Sinha et al., 2022), such as continuous noise on state embedding. We compare with other noise in Tab. 3, and we find that the discrete noise of MFT is more efficient.
따라서 데이터 집합의 쿼리의 경우 각각 이미 정답 응답이 포함되어 있어 올바른 중간 단계의 풍부한 프로세스 감독 신호를 제공할 수 있습니다. MFT는 새로운 올바른 추론 단계를 샘플링하는 것이 아니라 이전의 다른 추론 단계를 샘플링하여 모델이 다양한 컨텍스트에서 올바른 단계를 예측할 수 있도록 합니다. 간단히 말해, 온라인 Reinforcement Learning은 마르코프 의사 결정 과정에서 새로운 **행동**과 **상태**를 샘플링하는 반면, 우리는 부분적으로 관찰되도록 **상태**를 샘플링했습니다. 상태 엠베딩에 연속적인 노이즈를 추가하는 등 일반적으로 오프라인 Reinforcement Learning(Sinha et al., 2022)을 일반화하는 데 도움이 되는 것으로 확인되었습니다. 표 3에서 다른 노이즈와 비교한 결과, MFT의 이산 노이즈가 더 효율적이라는 것을 알 수 있습니다.
따라서 데이터 집합의 쿼리의 경우 각각 이미 정답 응답이 포함되어 있어 올바른 중간 단계의 풍부한 프로세스 감독 신호를 제공할 수 있습니다. MFT는 새로운 올바른 추론 단계를 샘플링하는 것이 아니라 이전의 다른 추론 단계를 샘플링하여 모델이 다양한 컨텍스트에서 올바른 단계를 예측할 수 있도록 합니다. 간단히 말해, 온라인 RL은 마르코프 의사 결정 과정에서 새로운 **행동**과 **상태**를 샘플링하는 반면, 우리는 부분적으로 관찰되도록 **상태**를 샘플링했습니다. 상태 엠베딩에 연속적인 노이즈를 추가하는 등 일반적으로 오프라인 RL(Sinha et al., 2022)을 일반화하는 데 도움이 되는 것으로 확인되었습니다. 표 3에서 다른 노이즈와 비교한 결과, MFT의 이산 노이즈가 더 효율적이라는 것을 알 수 있습니다.