To improve the reasoning ability, most training methods focus on acquiring supervised signals obtained through costly means, such as human annotation (Liao et al., 2024), generation of larger models (Yu et al., 2023; Luo et al., 2023; Liu et al., 2023; Yue et al., 2023), or self-sampling (Yuan et al., 2023; Singh et al., 2023; Wang et al., 2023; Zelikman et al., 2022). These methods depend on these signals to direct learning towards a specific trajectory by precisely outlining the reasoning process. In contrast, our method illustrates that an entirely different approach is equally effective. Instead of requiring more precise guidance to direct the generative process, our technique achieves comparable results by introducing random noises into the input. For reasoning tasks, which are generally considered to require precise understanding, we find that the method of incorporating noise into the reasoning steps is surprisingly effective, indicating that the model might have enhanced its performance through a denoising process. Our approach stands out for its simplicity and effectiveness, offering a feasible alternative to the more complex and resource-intensive methods.
추론 능력을 향상시키기 위해 대부분의 훈련 방법은 인간 주석(Liao et al., 2024), 더 큰 모델 생성(Yu et al., 2023; Luo et al., 2023; Liu et al., 2023; Yue et al., 2023) 또는 자체 샘플링(Yuan et al., 2023; Singh et al., 2023; Wang et al., 2023; Zelikman et al., 2022)과 같이 비용이 많이 드는 수단을 통해 얻은 supervised signals를 획득하는 데 중점을 둡니다. 이러한 방법은 추론 과정을 정확하게 설명함으로써 특정 궤적을 향해 학습을 유도하기 위해 이러한 signals에 의존합니다. 반면에 저희의 방법은 완전히 다른 접근 방식이 똑같이 효과적이라는 것을 보여줍니다. 생성 프로세스를 유도하기 위해 더 정확한 안내가 필요한 대신, 저희 기술은 입력에 무작위 노이즈를 도입하여 비슷한 결과를 얻습니다. 일반적으로 정확한 이해가 필요한 것으로 간주되는 추론 작업의 경우, 추론 단계에 노이즈를 통합하는 방법이 놀랍도록 효과적이라는 것을 발견했으며, 이는 모델이 denoising 프로세스를 통해 성능을 향상시켰을 수 있음을 나타냅니다. 저희의 접근 방식은 단순함과 효과성이 뛰어나 복잡하고 리소스 집약적인 기존 방법에 대한 실현 가능한 대안을 제공합니다.
추론 능력을 향상시키기 위해 대부분의 훈련 방법은 인간 주석(Liao et al., 2024), 더 큰 모델 생성(Yu et al., 2023; Luo et al., 2023; Liu et al., 2023; Yue et al., 2023) 또는 자체 샘플링(Yuan et al., 2023; Singh et al., 2023; Wang et al., 2023; Zelikman et al., 2022)과 같이 비용이 많이 드는 수단을 통해 얻은 지도 신호를 획득하는 데 중점을 둡니다. 이러한 방법은 추론 과정을 정확하게 설명함으로써 특정 궤적을 향해 학습을 유도하기 위해 이러한 신호에 의존합니다. 반면에 저희의 방법은 완전히 다른 접근 방식이 똑같이 효과적이라는 것을 보여줍니다. 생성 프로세스를 유도하기 위해 더 정확한 안내가 필요한 대신, 저희 기술은 입력에 무작위 노이즈를 도입하여 비슷한 결과를 얻습니다. 일반적으로 정확한 이해가 필요한 것으로 간주되는 추론 작업의 경우, 추론 단계에 노이즈를 통합하는 방법이 놀랍도록 효과적이라는 것을 발견했으며, 이는 모델이 노이즈 제거 프로세스를 통해 성능을 향상시켰을 수 있음을 나타냅니다. 저희의 접근 방식은 단순함과 효과성이 뛰어나 복잡하고 리소스 집약적인 기존 방법에 대한 실현 가능한 대안을 제공합니다.