Leveraging synthetic data has allowed us to scale our SFT data significantly, for instance, from 7.5K to 960K on GSM8K and from 7.5K to 480K on MATH. This data scaling shows nearly perfect scaling behavior, as drawn in Figure 1. Specifically, by simply scaling the SFT data, our model has become the first to exceed 80% and 40% accuracy on GSM8K and MATH, respectively, using a standard LLaMA-2 7B base model (achieving 82.6% and 40.6% respectively)2.
합성 데이터를 활용함으로써 우리의 SFT 데이터를 크게 확장할 수 있었습니다. 예를 들어, GSM8K에서는 7.5K에서 960K로, MATH에서는 7.5K에서 480K로 확장되었습니다. 이러한 데이터 확장은 Figure 1에 그려진 것처럼 거의 완벽한 확장 행동을 보여줍니다. 구체적으로, 단순히 SFT 데이터를 확장함으로써, 우리의 모델은 표준 LLaMA-2 7B 기본 모델을 사용하여 각각 GSM8K와 MATH에서 80%와 40% 정확도를 초과한 첫 번째 모델이 되었습니다 (각각 82.6%와 40.6%를 달성).
합성 데이터를 활용함으로써 SFT 데이터를 GSM8K에서는 7.5K에서 960K로, MATH에서는 7.5K에서 480K로 크게 확장할 수 있었습니다. 이러한 데이터 확장은 그림 1에 그려진 것처럼 거의 완벽한 확장 동작을 보여줍니다. 특히, SFT 데이터를 단순히 확장함으로써 저희 모델은 표준 LLaMA-2 7B 기본 모델을 사용하여 각각 GSM8K와 MATH에서 80%와 40%의 정확도를 초과한 최초의 모델이 되었습니다(각각 82.6%와 40.6% 달성).2.