Figure 6: The validation perplexity on the Pile validation set for 1B models trained on the default mixture and the optimized mixture of RedPajama for 100B tokens. Our optimized mixture achieves the performance of the default mixture only using 0.73 of the original number of training steps and eventually achieves a performance comparable to a default mixture trained with 1.48 times more tokens (estimated by the scaling law of training steps, shown as the dashed line). The specific mixture proportions are in the right table.
그림 6: 기본 혼합물과 1000억 토큰에 대해 최적화된 RedPajama 혼합물로 훈련된 10억 모델에 대한 Pile 유효성 검사 세트의 유효성 검사 Perplexity. 최적화된 혼합물은 원래 훈련 단계 수의 0.73만 사용하여 기본 혼합물의 성능을 달성했으며, 결국 1.48배 더 많은 토큰으로 훈련된 기본 혼합물과 비슷한 성능을 달성했습니다(훈련 단계의 Scaling law에 의해 추정, 점선으로 표시됨). 구체적인 혼합 비율은 오른쪽 표에 나와 있습니다.
그림 6: 기본 혼합물과 1000억 토큰에 대해 최적화된 레드파자마 혼합물로 훈련된 10억 모델에 대한 Pile 유효성 검사 세트의 유효성 검사 난해도. 최적화된 혼합물은 원래 훈련 단계 수의 0.73만 사용하여 기본 혼합물의 성능을 달성했으며, 결국 1.48배 더 많은 토큰으로 훈련된 기본 혼합물과 비슷한 성능을 달성했습니다(훈련 단계의 스케일링 법칙에 의해 추정, 점선으로 표시됨). 구체적인 혼합 비율은 오른쪽 표에 나와 있습니다.