In [15], they give the scaling relation for the loss with model size \(N\) when the number of training tokens \(D\) is fixed:
[15]에서 훈련 토큰 수 \(D\)가 고정된 경우 모델 크기 \(N\)에 대한 Loss의 scaling 관계를 제시한다:
[15]에서 훈련 토큰 수 \(D\)가 고정된 경우 모델 크기 \(N\)에 대한 손실의 스케일링 관계를 제시한다: