trained on GSM8K synthetic data, while Figure. 2 (Middle) presents the results of the model trained on MATH. We find that the accuracy of other benchmarks also improves as the amount of data increases for models trained with either GSM8K or MATH synthetic data. We also note that the generalization behaviors differ for GSM8K and MATH models: 1) SVAMP and ASDiv benefit more from GSM8K models than from MATH models. 2) While MATH models perform relatively well on the GSM8K benchmark, GSM8K models perform considerably worse on MATH benchmarks.
GSM8K synthetic data에 대해 학습한 반면, Figure. 2 (Middle)는 MATH에 대해 학습한 모델의 결과를 보여준다. GSM8K 또는 MATH synthetic data로 학습한 모델의 경우 데이터 양이 증가함에 따라 다른 benchmark의 정확도도 향상되는 것을 확인할 수 있다. 또한 GSM8K와 MATH 모델의 generalization 동작이 다르다는 점도 주목할 필요가 있다: 1) SVAMP와 ASDiv는 MATH 모델보다 GSM8K 모델의 혜택을 더 많이 받는다. 2) MATH 모델은 GSM8K benchmark에서 상대적으로 우수한 성능을 보이지만, GSM8K 모델은 MATH benchmark에서 상당히 낮은 성능을 보인다.
GSM8K 합성 데이터에 대해 학습한 반면, 그림 2 (가운데)는 MATH에 대해 학습한 모델의 결과를 보여준다. GSM8K 또는 MATH 합성 데이터로 학습한 모델의 경우 데이터 양이 증가함에 따라 다른 벤치마크의 정확도도 향상되는 것을 확인할 수 있다. 또한 GSM8K와 MATH 모델의 일반화 동작이 다르다는 점도 주목할 필요가 있다: 1) SVAMP와 ASDiv는 MATH 모델보다 GSM8K 모델의 혜택을 더 많이 받는다. 2) MATH 모델은 GSM8K 벤치마크에서 상대적으로 우수한 성능을 보이지만, GSM8K 모델은 MATH 벤치마크에서 상당히 낮은 성능을 보인다.