* the cross entropy loss in nats averaged over the tokens in a context
* the number of model parameters, _excluding all vocabulary and positional embeddings_
* the batch size
* the critical batch size defined in [14]. Training at the critical batch size provides a roughly optimal compromise between time and compute efficiency
* amount of processed tokens
* an estimate of the minimum amount of processed tokens needed to reach a given value of the loss. This is also the number of training steps that would be used if the model were trained at a batch size much smaller than the critical batch size
* number of training steps
* an estimate of the minimal number of training steps needed to reach a given value of the loss.
* 문맥의 토큰을 평균한 평균 cross entropy loss (nats)
* 모든 어휘 및 위치 임베딩을 제외한 모델 파라미터 수
* batch size
* [14]에 정의된 임계 batch size. 임계 batch size에서 훈련하면 시간 및 계산 효율성 간에 대략 최적의 절충점을 제공합니다.
* 처리된 토큰의 양
* loss의 특정 값에 도달하는 데 필요한 최소 처리된 토큰 수의 추정치입니다. 이는 또한 모델을 임계 batch size보다 훨씬 작은 batch size로 훈련할 경우 사용되는 훈련 단계 수입니다.
* 훈련 단계 수
* loss의 특정 값에 도달하는 데 필요한 최소 훈련 단계 수의 추정치입니다.
* 문맥의 토큰을 평균한 평균 크로스 엔트로피 손실(nats)* 모든 어휘 및 위치 임베딩을 제외한 모델 파라미터 수* 배치 크기* [14]에 정의된 임계 배치 크기. 임계 배치 크기에서 훈련하면 시간 및 계산 효율성 간에 대략 최적의 절충점을 제공합니다.* 처리된 토큰의 양* 손실의 특정 값에 도달하는 데 필요한 최소 처리된 토큰 수의 추정치입니다. 이는 또한 모델을 임계 배치 크기보다 훨씬 작은 배치 크기로 훈련할 경우 사용되는 훈련 단계 수입니다.* 훈련 단계 수* 손실의 특정 값에 도달하는 데 필요한 최소 훈련 단계 수의 추정치입니다.