Figure 1: Performance of Pythia models on the Pile. On the left, we compare training dynamics of models from 14M (top) to 410M (bottom) parameters, displaying darker shades as we approach the minimal value. On the right, we fit a power law on larger models and find that final checkpoints of smaller models underperform compared to predictions.
그림 1: Pile에서 Pythia 모델의 성능. 왼쪽에서는 14M(위)에서 410M(아래) 파라미터의 모델 training dynamics를 비교하여 최소값에 가까워질수록 어두운 색조를 표시합니다. 오른쪽에서는 더 큰 모델에 power law를 적용하여 작은 모델의 최종 checkpoints가 예측에 비해 성능이 저하되는 것을 발견했습니다.
그림 1: 더미에서 Pythia 모델의 성능. 왼쪽에서는 14M(위)에서 410M(아래) 파라미터의 모델 학습 동역학을 비교하여 최소값에 가까워질수록 어두운 색조를 표시합니다. 오른쪽에서는 더 큰 모델에 지수 법칙을 적용하여 작은 모델의 최종 체크포인트가 예측에 비해 성능이 저하되는 것을 발견했습니다.