Figure 1: We continual pretrain 1B and 7B LMs with 15B OpenWebMath tokens. Rho-1 is trained with our proposed Selective Language Modeling (SLM), while baselines are trained using causal language modeling. SLM improves average few-shot accuracy on GSM8k and MATH by over 16%, achieving the baseline performance 5-10x faster.
그림 1: 15B OpenWebMath 토큰으로 1B 및 7B LMs을 지속적으로 사전 학습합니다. Rho-1은 제안한 Selective Language Modeling (SLM)으로 학습하고, baselines는 causal language modeling을 사용하여 학습합니다. SLM은 GSM8k 및 MATH의 평균 few-shot 정확도를 16% 이상 향상시켜 baseline 성능을 5~10배 더 빠르게 달성합니다.
그림 1: 15B OpenWebMath 토큰으로 1B 및 7B LM을 지속적으로 사전 학습합니다. Rho-1은 제안한 선택적 언어 모델링(SLM)으로 학습하고, 베이스라인은 인과적 언어 모델링을 사용하여 학습합니다. SLM은 GSM8k 및 MATH의 평균 몇 번의 샷 정확도를 16% 이상 향상시켜 기본 성능을 5~10배 더 빠르게 달성합니다.