Figure 1: Training loss for 1.4B models in the pre-training stage. On the \(x\)-axis we display the total number of tokens model has been trained on, including both in standard and reverse direction.
그림 1: 사전 학습 단계에서 1.4B 모델의 Training Loss. x축에는 표준 방향과 역방향을 모두 포함하여 모델이 학습한 총 토큰 수를 표시합니다.
그림 1: 사전 학습 단계에서 1.4B 모델의 학습 손실. x축에는 표준 방향과 역방향을 모두 포함하여 모델이 학습한 총 토큰 수를 표시합니다.