Figure 7: Results of our loss prediction pipelines for the overall validation loss and domain losses. Fitting data are from 70M to 410M models trained for 30B tokens, while the extrapolated points are from the default and optimized mixture for 1B models and 100B tokens.
그림 7: 전체 유효성 검사 Loss 및 도메인 Loss에 대한 Loss 예측 파이프라인의 결과입니다. 피팅 데이터는 30B 토큰에 대해 훈련된 70M ~ 410M 모델의 데이터이며, 추정된 점은 1B 모델과 100B 토큰에 대한 기본 및 최적화된 혼합물의 데이터입니다.
그림 7: 전체 유효성 검사 손실 및 도메인 손실에 대한 손실 예측 파이프라인의 결과입니다. 피팅 데이터는 30B 토큰에 대해 훈련된 70M ~ 410M 모델의 데이터이며, 추정된 점은 1B 모델과 100B 토큰에 대한 기본 및 최적화된 혼합물의 데이터입니다.