Figure 1: The orange star markers represent the accuracy achieved by selecting the best response from 256 random generations of the LLaMA-2 7B model. The high accuracy on the MATH (left) and GSM8K (right) benchmarks (72.0% and 97.7%, respectively) suggest that the LLaMA-2 7B already possesses strong mathematical capabilities, although the stability in generating correct answers could be enhanced. This paper demonstrates that by scaling synthetic SFT data, the stability can be significantly improved as evidenced by the curves. Through this straightforward scaling of SFT data, the top-performing model has exceeded an early GPT-4 model by 10.3% on the MATH benchmark.
그림 1: 주황색 별 마커는 LLaMA-2 7B 모델의 무작위 256세대 중에서 가장 좋은 응답을 선택하여 달성한 정확도를 나타냅니다. MATH(왼쪽) 및 GSM8K(오른쪽) 벤치마크에서 높은 정확도(각각 72.0% 및 97.7%)는 LLaMA-2 7B가 이미 강력한 수학적 능력을 갖추고 있음을 시사하지만, 정답을 생성하는 안정성은 향상될 수 있습니다. 이 백서에서는 합성 Supervised Fine-tuning (SFT) 데이터를 확장함으로써 안정성을 크게 개선할 수 있음을 입증하며, 이는 곡선에서 알 수 있듯이 안정성이 크게 개선되었음을 보여줍니다. 이 간단한 SFT 데이터 확장을 통해 최고 성능 모델은 MATH 벤치마크에서 초기 GPT-4 모델보다 10.3% 더 높은 성능을 발휘했습니다.
그림 1: 주황색 별 마커는 LLaMA-2 7B 모델의 무작위 256세대 중에서 가장 좋은 응답을 선택하여 달성한 정확도를 나타냅니다. MATH(왼쪽) 및 GSM8K(오른쪽) 벤치마크에서 높은 정확도(각각 72.0% 및 97.7%)는 LLaMA-2 7B가 이미 강력한 수학적 능력을 갖추고 있음을 시사하지만, 정답을 생성하는 안정성은 향상될 수 있습니다. 이 백서에서는 합성 SFT 데이터를 확장함으로써 안정성을 크게 개선할 수 있음을 입증하며, 이는 곡선에서 알 수 있듯이 안정성이 크게 개선되었음을 보여줍니다. 이 간단한 SFT 데이터 확장을 통해 최고 성능 모델은 MATH 벤치마크에서 초기 GPT-4 모델보다 10.3% 더 높은 성능을 발휘했습니다.