**Pass@256 _v.s._ PassRatio@256 To deepen the understanding behind the performance improvements, we tracked Pass@N metric and PassRatio@N metric under different data size. The results are shown in Figure 3. With very limited synthetic data (_e.g._ 7.5K samples), the Xwin-Math-70B model already has very high Pass@256, indicating the strong ability to generate correct answers through multiple attempts. Meanwhile, the Pass@256 metric only changed slightly with increasing the amount of used data. In contrast, PassRatio@256, which reflects the stability to generate correct answer, increases significantly with the amount of synthetic data, and its growth trend is similar to that of Pass@1. This result confirms our hypothesize that the performance improvements is mainly caused by the better stability in answer generation rather than stronger ability to answer the question.
**Pass@256 _v.s._ PassRatio@256 성능 개선의 이면에 숨겨진 이해를 심화하기 위해 다양한 데이터 크기에서 Pass@N metric과 PassRatio@N metric을 추적했습니다. 그 결과는 그림 3에 나와 있습니다. 매우 제한된 합성 데이터(_예: 7.5K 샘플)의 경우, Xwin-Math-70B 모델은 이미 매우 높은 Pass@256을 가지고 있어 여러 번의 시도를 통해 정답을 생성할 수 있는 강력한 능력을 보여줍니다. 한편, 사용된 데이터의 양이 증가함에 따라 Pass@256 metric은 약간만 변경되었습니다. 반면, 정답을 생성하는 안정성을 반영하는 PassRatio@256은 합성 데이터의 양에 따라 크게 증가하며, 그 증가 추세는 Pass@1의 증가 추세와 유사합니다. 이 결과는 성능 향상이 주로 질문에 대한 답변 능력보다는 답변 생성의 안정성 향상으로 인해 발생한다는 가설을 확인시켜 줍니다.
**Pass@256 _v.s._ PassRatio@256 성능 개선의 이면에 숨겨진 이해를 심화하기 위해 다양한 데이터 크기에서 Pass@N 메트릭과 PassRatio@N 메트릭을 추적했습니다. 그 결과는 그림 3에 나와 있습니다. 매우 제한된 합성 데이터(_예: 7.5K 샘플)의 경우, Xwin-Math-70B 모델은 이미 매우 높은 Pass@256을 가지고 있어 여러 번의 시도를 통해 정답을 생성할 수 있는 강력한 능력을 보여줍니다. 한편, 사용된 데이터의 양이 증가함에 따라 Pass@256 메트릭은 약간만 변경되었습니다. 반면, 정답을 생성하는 안정성을 반영하는 PassRatio@256은 합성 데이터의 양에 따라 크게 증가하며, 그 증가 추세는 Pass@1의 증가 추세와 유사합니다. 이 결과는 성능 향상이 주로 질문에 대한 답변 능력보다는 답변 생성의 안정성 향상으로 인해 발생한다는 가설을 확인시켜 줍니다.