Figure 2: Batch size scan of a 10M model with 4096 context length. Each curve has the same loss value with varying batch sizes and training steps.
그림 2: Batch size가 4096인 10M 모델의 스캔. 각 곡선은 다양한 Batch size와 훈련 단계에서 동일한 Loss 값을 갖습니다.
그림 2: 컨텍스트 길이가 4096인 10M 모델의 배치 크기 스캔. 각 곡선은 다양한 배치 크기와 훈련 단계에서 동일한 손실 값을 갖습니다.