The overall training loss on the C4 dataset is shown in Figure 12. We can see that as expected in the preliminary experiments, the loss decreases sharply in the decay stage. Since we use the exponential decay, the loss still drops after the learning rate drops below 10% of the max learning rate. However, since we continue to SFT the model after the decay stage, we do not utilize the final checkpoints. The checkpoints we finetune from are shown in the last checkpoint of dark green segment. The first drop in MiniCPM-1.2B is the result of enlarging batch size, which might have a similar effect as decreasing learning rate (Smith et al., 2017).
C4 데이터 세트의 전체 training loss는 그림 12에 나와 있습니다. 예비 실험에서 예상했듯이 loss가 감소 단계에서 급격히 감소하는 것을 볼 수 있습니다. 지수 감소를 사용하기 때문에 learning rate가 최대 learning rate의 10% 아래로 떨어지더라도 loss가 계속 감소합니다. 그러나 감쇠 단계 이후에도 모델을 계속 Supervised Fine-tuning (SFT)하기 때문에 최종 체크포인트를 활용하지 않습니다. Fine-tuning하는 체크포인트는 진한 녹색 세그먼트의 마지막 체크포인트에 표시됩니다. MiniCPM-1.2B의 첫 번째 하락은 batch size를 확대한 결과이며, 이는 learning rate를 낮추는 것과 유사한 효과를 가질 수 있습니다(Smith et al., 2017).
C4 데이터 세트의 전체 훈련 손실은 그림 12에 나와 있습니다. 예비 실험에서 예상했듯이 손실이 감소 단계에서 급격히 감소하는 것을 볼 수 있습니다. 지수 감소를 사용하기 때문에 학습 속도가 최대 학습 속도의 10% 아래로 떨어지더라도 손실이 계속 감소합니다. 그러나 감쇠 단계 이후에도 모델을 계속 SFT하기 때문에 최종 체크포인트를 활용하지 않습니다. 파인튜닝하는 체크포인트는 진한 녹색 세그먼트의 마지막 체크포인트에 표시됩니다. MiniCPM-1.2B의 첫 번째 하락은 배치 크기를 확대한 결과이며, 이는 학습 속도를 낮추는 것과 유사한 효과를 가질 수 있습니다(Smith et al., 2017).