We verify the effect of our pipeline with an experiment to minimize the validation loss of a 1B model trained on 100B tokens.
100B 토큰으로 학습된 1B 모델의 validation loss를 최소화하는 실험을 통해 파이프라인의 효과를 검증한다.
100B 토큰으로 학습된 1B 모델의 검증 손실을 최소화하는 실험을 통해 파이프라인의 효과를 검증한다.