We confirm the efficacy of the SLM in general pretraining by continual training Tinyllama-1.1B on 80 billion tokens. The results depicted in Figure 5 indicate that although Tinyllama has already undergone extensive training on the majority of these tokens, the application of SLM yields an average enhancement of 6.8% across 15 benchmarks compared to direct continual pretraining. The improvements were especially pronounced in code and math tasks, exceeding 10%.
800억 토큰에 대한 지속적인 훈련 Tinyllama-1.1B를 통해 일반 사전 훈련에서 SLM의 효능을 확인합니다. 그림 5에 표시된 결과에 따르면, Tinyllama는 이미 대부분의 토큰에 대해 광범위한 훈련을 받았지만 SLM을 적용하면 직접 continual pretraining에 비해 15개 벤치마크에서 평균 6.8%의 향상 효과가 나타났습니다. 특히 코드 및 수학 과제에서 10%를 넘는 눈에 띄는 개선 효과를 보였습니다.
800억 토큰에 대한 지속적인 훈련 Tinyllama-1.1B를 통해 일반 사전 훈련에서 SLM의 효능을 확인합니다. 그림 5에 표시된 결과에 따르면, Tinyllama는 이미 대부분의 토큰에 대해 광범위한 훈련을 받았지만 SLM을 적용하면 직접 연속 사전 훈련에 비해 15개 벤치마크에서 평균 6.8%의 향상 효과가 나타났습니다. 특히 코드 및 수학 과제에서 10%를 넘는 눈에 띄는 개선 효과를 보였습니다.