In this comparison, we examine both in-domain benchmarks, GSM8K/MATH, and out-of-domain benchmarks, such as the Hungarian National High School Exam. For in-domain evaluation of each benchmark, we utilize data synthesized from its respective training samples. For GSM8K, 960K synthetic data is employed, while for MATH, 480K synthetic data is used. For out-domain evaluation,we test models trained using GSM8K, MATH, or a mixed of two synthetic sets.
이 비교에서는 in-domain 벤치마크인 GSM8K/MATH와 out-of-domain 벤치마크인 헝가리 국가 고등학교 시험을 모두 살펴봅니다. 각 벤치마크의 in-domain 평가를 위해 각 벤치마크의 학습 샘플에서 합성된 데이터를 활용합니다. GSM8K의 경우 960K synthetic data를 사용하고, MATH의 경우 480K synthetic data를 사용합니다. out-domain 평가의 경우 GSM8K, MATH 또는 두 synthetic set의 혼합을 사용하여 학습된 모델을 테스트합니다.
이 비교에서는 도메인 내 벤치마크인 GSM8K/MATH와 도메인 외 벤치마크인 헝가리 국가 고등학교 시험을 모두 살펴봅니다. 각 벤치마크의 도메인 내 평가를 위해 각 벤치마크의 학습 샘플에서 합성된 데이터를 활용합니다. GSM8K의 경우 960K 합성 데이터를 사용하고, MATH의 경우 480K 합성 데이터를 사용합니다. 도메인 외 평가의 경우 GSM8K, MATH 또는 두 합성 세트의 혼합을 사용하여 학습된 모델을 테스트합니다.