In addition to the strong results, we have also gleaned insights into the effectiveness of our approach: 1) As the scale of SFT data increases, the model's accuracy tends to plateau when utilizing 256 attempts; however, there is a marked increase using 1 response. This indicates that while the model's upper capability limit remains fairly constant, the performance gains are primarily due to enhanced stability in generating correct answers. 2) The accuracy of solving math problems follows a power law with respect to the number of chain-of-thought (CoT) steps with different SFT data quantities. An expanded SFT dataset improves the reliability of each reasoning step. Further increasing the proportion of training samples with longer CoT steps through resampling can significantly improve the accuracy of the model for difficult questions. 3) An analysis of error types during the scaling process reveals that calculation errors are more readily mitigated compared to reasoning errors.
또한, 우리는 접근 방식의 효과에 대한 인사이트도 얻었습니다: 1) SFT 데이터의 규모가 증가함에 따라 256번의 시도를 활용할 때 모델의 정확도는 정체되는 경향이 있지만, 1개의 응답을 사용하면 눈에 띄게 증가합니다. 이는 모델의 상한선은 거의 일정하게 유지되는 반면, 성능 향상은 주로 정답을 생성하는 안정성이 향상되었기 때문인 것으로 보입니다. 2) 수학 문제 해결의 정확도는 다양한 SFT 데이터 양에 따른 chain-of-thought (CoT) 단계 수와 관련하여 거듭제곱 법칙을 따릅니다. 확장된 SFT 데이터 세트는 각 추론 단계의 신뢰성을 향상시킵니다. 리샘플링을 통해 더 긴 CoT 단계를 가진 훈련 샘플의 비율을 더 늘리면 어려운 문제에 대한 모델의 정확도를 크게 향상시킬 수 있습니다. 3) 확장 과정에서 오류 유형을 분석한 결과, 추론 오류에 비해 계산 오류가 더 쉽게 완화되는 것으로 나타났습니다.
또한, 우리는 접근 방식의 효과에 대한 인사이트도 얻었습니다: 1) SFT 데이터의 규모가 증가함에 따라 256번의 시도를 활용할 때 모델의 정확도는 정체되는 경향이 있지만, 1개의 응답을 사용하면 눈에 띄게 증가합니다. 이는 모델의 상한선은 거의 일정하게 유지되는 반면, 성능 향상은 주로 정답을 생성하는 안정성이 향상되었기 때문인 것으로 보입니다. 2) 수학 문제 해결의 정확도는 다양한 SFT 데이터 양에 따른 생각의 연쇄(CoT) 단계 수와 관련하여 거듭제곱 법칙을 따릅니다. 확장된 SFT 데이터 세트는 각 추론 단계의 신뢰성을 향상시킵니다. 리샘플링을 통해 더 긴 CoT 단계를 가진 훈련 샘플의 비율을 더 늘리면 어려운 문제에 대한 모델의 정확도를 크게 향상시킬 수 있습니다. 3) 확장 과정에서 오류 유형을 분석한 결과, 추론 오류에 비해 계산 오류가 더 쉽게 완화되는 것으로 나타났습니다.