In previous sections, we show that 1) the pre-training loss is predictive of the performance of language modes on downstream tasks, and 2) some tasks exhibit emergent performance improvements from the random guess level when the pre-training loss drops below a certain threshold regardless of model size, token count, and continuity of metrics.
이전 섹션에서 1) pre-training Loss가 다운스트림 작업에서 언어 모드의 성능을 예측할 수 있고, 2) 일부 작업은 모델 크기, 토큰 수, 메트릭의 연속성에 관계없이 pre-training Loss가 특정 임계값 아래로 떨어질 때 무작위 추측 수준에서 emergent 성능 향상을 보이는 것을 보여 줍니다.
이전 섹션에서 1) 사전 학습 손실이 다운스트림 작업에서 언어 모드의 성능을 예측할 수 있고, 2) 일부 작업은 모델 크기, 토큰 수, 메트릭의 연속성에 관계없이 사전 학습 손실이 특정 임계값 아래로 떨어질 때 무작위 추측 수준에서 새로운 성능 향상을 보이는 것을 보여 줍니다.