However, when we fit based on Equation. 3 to the first four points, as shown in dashed lines, we found that the latter three points were significantly below the curve. We believe this phenomenon may be related to the smaller proportion of more complex problems in the training data. Therefore, we resampled the 960K synthetic data according to the number of sentences in CoT solution. As can be seen from Figure 4 (right), when the proportion of complex problems is increased, the accuracy for simpler problems remains virtually unchanged, but the accuracy for more complex problems can be significantly improved. Moreover, the utilization of data resampling can increase the model's PassRatio@256 from 71.1 to 72.8. This experimental result provides new insights into data selection for mathematical reasoning tasks.
그러나 점선으로 표시된 것처럼 Equation 3을 기반으로 처음 네 점을 맞추었을 때, 후자의 세 점이 곡선보다 현저히 낮은 것을 발견했습니다. 이러한 현상은 학습 데이터에서 더 복잡한 문제의 비중이 적기 때문일 수 있다고 생각합니다. 따라서 960K 합성 데이터를 CoT solution의 문장 수에 따라 다시 샘플링했습니다. 그림 4(오른쪽)에서 볼 수 있듯이 복잡한 문제의 비중이 높아지면 더 간단한 문제에 대한 정확도는 거의 변하지 않지만 더 복잡한 문제에 대한 정확도는 크게 향상될 수 있습니다. 또한 데이터 resampling을 활용하면 모델의 PassRatio@256을 71.1에서 72.8로 높일 수 있습니다. 이 실험 결과는 수학적 추론 과제를 위한 데이터 선택에 대한 새로운 인사이트를 제공합니다.
그러나 점선으로 표시된 것처럼 방정식 3을 기반으로 처음 네 점을 맞추었을 때, 후자의 세 점이 곡선보다 현저히 낮은 것을 발견했습니다. 이러한 현상은 학습 데이터에서 더 복잡한 문제의 비중이 적기 때문일 수 있다고 생각합니다. 따라서 960K 합성 데이터를 CoT 솔루션의 문장 수에 따라 다시 샘플링했습니다. 그림 4(오른쪽)에서 볼 수 있듯이 복잡한 문제의 비중이 높아지면 더 간단한 문제에 대한 정확도는 거의 변하지 않지만 더 복잡한 문제에 대한 정확도는 크게 향상될 수 있습니다. 또한 데이터 리샘플링을 활용하면 모델의 PassRatio@256을 71.1에서 72.8로 높일 수 있습니다. 이 실험 결과는 수학적 추론 과제를 위한 데이터 선택에 대한 새로운 인사이트를 제공합니다.