SLM on math continual pretraining: both 1B and 7B Rho-1 outperform CLM-trained baselines by over 16% on the GSM8k and MATH datasets. SLM reaches baseline accuracy up to 10x faster, as shown in Figure 1. Remarkably, Rho-1-7B matches the state-of-the-art performance of DeepSeekMath-7B using only 15B tokens, compared to the 500B tokens required by DeepSeekMath. Upon fine-tuning, Rho-1-1B and 7B achieve 40.6% and 51.8% on MATH, respectively. Notably, Rho-1-1B is the first 1B LM to exceed 40% accuracy, nearing the early GPT-4's CoT performance of 42.5%. SS3.3 confirms the efficacy of SLM in general pretraining: Training Tinyllama-1B on 80B tokens with SLM improves 6.8% on average across 15 benchmarks, with gains over 10% in code and math tasks.
수학 연속 사전 학습에 대한 SLM: 1B와 7B Rho-1은 GSM8k 및 MATH 데이터 세트에서 CLM로 학습된 baseline보다 16% 이상 우수한 성능을 보입니다. 그림 1에서 볼 수 있듯이 SLM은 baseline 정확도에 최대 10배 더 빠르게 도달합니다. 놀랍게도 Rho-1-7B는 DeepSeekMath에 필요한 500B tokens에 비해 15B tokens만 사용하여 DeepSeekMath-7B의 최첨단 성능에 필적합니다. Fine-tuning 후 Rho-1-1B와 7B는 각각 MATH에서 40.6%와 51.8%를 달성했습니다. 특히 Rho-1-1B는 40%의 정확도를 초과하는 최초의 1B LM으로, 초기 GPT-4의 CoT 성능인 42.5%에 근접했습니다. SS3.3은 일반적인 사전 학습에서 SLM의 효능을 확인시켜 줍니다: 80B tokens에 대해 Tinyllama-1B를 SLM으로 학습하면 15개 벤치마크에서 평균 6.8%가 향상되며, 코드 및 수학 과제에서 10% 이상의 성능 향상을 보입니다.
수학 연속 사전 학습에 대한 SLM: 1B와 7B Rho-1은 GSM8k 및 MATH 데이터 세트에서 CLM로 학습된 기준선보다 16% 이상 우수한 성능을 보입니다. 그림 1에서 볼 수 있듯이 SLM은 기준선 정확도에 최대 10배 더 빠르게 도달합니다. 놀랍게도 Rho-1-7B는 DeepSeekMath에 필요한 5000억 토큰에 비해 150억 토큰만 사용하여 DeepSeekMath-7B의 최첨단 성능에 필적합니다. 미세 조정 후 Rho-1-1B와 7B는 각각 MATH에서 40.6%와 51.8%를 달성했습니다. 특히 Rho-1-1B는 40%의 정확도를 초과하는 최초의 10억 단어 모델로, 초기 GPT-4의 CoT 성능인 42.5%에 근접했습니다. SS3.3은 일반적인 사전 학습에서 SLM의 효능을 확인시켜 줍니다: 800억 토큰에 대해 Tinyllama-1B를 SLM으로 학습하면 15개 벤치마크에서 평균 6.8%가 향상되며, 코드 및 수학 과제에서 10% 이상의 성능 향상을 보입니다.