where \(L\) is the per-token cross entropy loss (in nats), \(N,D\) are the number of (non-embedding) parameters and data, respectively, and \(N_{C},D_{C}\) and \(\alpha_{N},\alpha_{D}\) are constants determined by the data distribution and the model specifications.
여기서 \(L\)은 토큰별 cross entropy Loss (nats 단위), \(N,D\)는 각각 (임베딩이 아닌) 파라미터와 데이터의 수이며, \(N_{C},D_{C}\), \(\alpha_{N},\alpha_{D}\)는 데이터 분포와 모델 사양에 의해 결정되는 상수입니다.
여기서 \(L\)은 토큰별 교차 엔트로피 손실(내트 단위), \(N,D\)는 각각 (임베딩이 아닌) 파라미터와 데이터의 수이며, \(N_{C},D_{C}\), \(\알파_{N},\알파_{D}\)는 데이터 분포와 모델 사양에 의해 결정되는 상수입니다.