A few datapoints stand out. There is a column of points with training FLOP around \(10^{19}\) where some of the larger models obtain high loss values (up to 70% higher compared to models with similar compute budgets). These correspond to the lowest ratio of training tokens to parameters (the top five have a ratio \(<0.4\)). It is unclear why these training runs yielded such high losses. In our analysis, we drop the five points in this column. In Appendix A.1, we show that these would not materially change our conclusions about the poor fit of Hoffmann et al.'s estimated Chinchilla scaling law.
몇 가지 데이터 포인트가 눈에 띕니다. 훈련 FLOP가 약 \(10^{19}\)인 점 열이 있는데, 여기서 일부 대형 모델은 유사한 컴퓨팅 예산을 가진 모델에 비해 최대 70%까지 높은 Loss 값을 얻습니다. 이는 훈련 토큰과 파라미터의 비율이 가장 낮은 경우에 해당합니다(상위 5개는 비율이 \(<0.4\)입니다). 이러한 훈련 실행에서 왜 이렇게 높은 Loss가 발생했는지는 명확하지 않습니다. 분석에서는 이 열에 있는 5개의 점을 삭제합니다. 부록 A.1에서는 Hoffmann 등의 추정 Chinchilla Scaling Law의 부적합성에 대한 결론에 큰 변화가 없음을 보여줍니다.
몇 가지 데이터 포인트가 눈에 띕니다. 훈련 FLOP가 약 \(10^{19}\)인 점 열이 있는데, 여기서 일부 대형 모델은 유사한 컴퓨팅 예산을 가진 모델에 비해 최대 70%까지 높은 손실 값을 얻습니다. 이는 훈련 토큰과 파라미터의 비율이 가장 낮은 경우에 해당합니다(상위 5개는 비율이 \(<0.4\)입니다). 이러한 훈련 실행에서 왜 이렇게 높은 손실이 발생했는지는 명확하지 않습니다. 분석에서는 이 열에 있는 5개의 점을 삭제합니다. 부록 A.1에서는 호프만 등의 추정 칭칠라 스케일링 법칙의 부적합성에 대한 결론에 큰 변화가 없음을 보여줍니다.