We show through comprehensive experiments that SLM significantly enhances token efficiency during pretraining and improves performance on downstream tasks. Furthermore, our findings indicate that SLM effectively identifies tokens relevant to the target distribution, resulting in improved perplexity scores on benchmarks for models trained with the selected tokens.
우리는 종합적인 실험을 통해 SLM이 사전 훈련 중 토큰 효율성을 크게 향상시키고 다운스트림 작업의 성능을 개선한다는 것을 보여줍니다. 또한, 우리의 연구 결과는 SLM이 대상 분포와 관련된 토큰을 효과적으로 식별하여 선택된 토큰으로 훈련된 모델의 벤치마크에서 향상된 혼란도 점수를 얻는다는 것을 나타냅니다.
포괄적인 실험을 통해 SLM이 사전 학습 중 토큰 효율성을 크게 향상시키고 다운스트림 작업의 성능을 향상시킨다는 것을 보여줍니다. 또한, 우리의 연구 결과에 따르면 SLM은 대상 분포와 관련된 토큰을 효과적으로 식별하여 선택된 토큰으로 학습된 모델의 벤치마크에서 더 나은 난해성 점수를 얻을 수 있습니다.