Observed from previous experiments and analysis, we can conclude that the pre-training loss is a good indicator of LMs' performance on downstream tasks, independent of model sizes, training tokens, languages, and pre-training frameworks.
이전 실험과 분석에서 관찰한 바와 같이, pre-training Loss는 모델 크기, 학습 토큰, 언어 및 pre-training 프레임워크와 무관하게 다운스트림 작업에서 LMs의 성능에 대한 좋은 지표라는 결론을 내릴 수 있다.
이전 실험과 분석에서 관찰한 바와 같이, 사전 학습 손실은 모델 크기, 학습 토큰, 언어 및 사전 학습 프레임워크와 무관하게 다운스트림 작업에서 LM의 성능에 대한 좋은 지표라는 결론을 내릴 수 있다.