set, we generated 256 responses and used the number of steps in the GSM8k test set's CoT annotations as the theoretical CoT steps. We draw the curve to show the relationship between the number of CoT reasoning steps and mean final answer accuracy and show the fitted curve based on Equation. 3. We test Xwin-Math-7B models with different synthetic data, and the results are shown in Figure 4. The solid line is fitted using all seven points and Table 4 shows the estimated single-step accuracy when using different amounts of data using all data points, and it can be seen that the single-step accuracy improve significantly with more data.
GSM8k 테스트 세트의 CoT 주석에서 이론적인 CoT 단계를 사용하여 256개의 응답을 생성했습니다. CoT 추론 단계 수와 평균 최종 답변 정확도 간의 관계를 보여주기 위해 곡선을 그렸으며, Equation 3을 기반으로 적합된 곡선을 보여줍니다. 우리는 다양한 합성 데이터를 사용하여 Xwin-Math-7B 모델을 테스트했으며, 결과는 Figure 4에 나와 있습니다. 실선은 모든 7개의 점을 사용하여 적합되었으며, Table 4는 모든 데이터 포인트를 사용하여 다른 양의 데이터를 사용할 때의 단일 단계 정확도를 추정한 결과를 보여줍니다. 더 많은 데이터를 사용할수록 단일 단계 정확도가 크게 향상되는 것을 확인할 수 있습니다.
집합을 생성하고 GSM8k 테스트 세트의 CoT 주석에 있는 단계 수를 이론적 CoT 단계로 사용했습니다. CoT 추론 단계 수와 최종 답 정확도 평균 사이의 관계를 보여주기 위해 커브를 그리고 방정식 3을 기반으로 피팅된 커브를 보여줍니다. 다양한 합성 데이터로 Xwin-Math-7B 모델을 테스트했으며 그 결과는 그림 4에 나와 있습니다. 실선은 7개의 점을 모두 사용하여 피팅한 것이며, 표 4는 모든 데이터 포인트를 사용하여 다양한 양의 데이터를 사용할 때 예상되는 단일 단계 정확도를 보여 주며, 더 많은 데이터를 사용할수록 단일 단계 정확도가 크게 향상되는 것을 알 수 있습니다.