In Figure 0(a), we clearly see that models up to 410M parameters suffer from the saturation phenomenon, characterized as an increase of the in-domain loss in advanced training stages.
그림 0(a)에서 최대 410M 파라미터의 모델이 고급 training 단계에서 in-domain loss가 증가하는 것으로 특징지어지는 포화 현상을 겪고 있음을 분명히 알 수 있다.
그림 0(a)에서 최대 410M 파라미터의 모델이 고급 훈련 단계에서 도메인 내 손실이 증가하는 것으로 특징지어지는 포화 현상을 겪고 있음을 분명히 알 수 있다.