The advantage of the new definition lies in its ability to better capture the tipping points in training trajectories when LMs acquire emergent abilities. Once again [47], the existence of emergent abilities suggests that we cannot predict all the abilities of LMs by simply extrapolating the performance of LMs with higher pre-training loss. Further scaling the model and data size to lower the pre-training loss may enable new abilities that were not present in previous LMs.
새로운 정의의 장점은 LMs이 새로운 능력을 습득할 때 훈련 궤적의 전환점을 더 잘 포착할 수 있다는 점에 있습니다. 다시 한 번 [47], emergent abilities의 존재는 단순히 pre-training loss가 더 높은 LMs의 성능을 추정하여 LMs의 모든 능력을 예측할 수 없음을 시사합니다. 모델과 데이터 크기를 더 확장하여 pre-training loss를 낮추면 이전 LMs에는 없던 새로운 능력을 활용할 수 있습니다.
새로운 정의의 장점은 LM이 새로운 능력을 습득할 때 훈련 궤적의 전환점을 더 잘 포착할 수 있다는 점에 있습니다. 다시 한 번 [47], 출현 능력의 존재는 단순히 사전 훈련 손실이 더 높은 LM의 성능을 추정하여 LM의 모든 능력을 예측할 수 없음을 시사합니다. 모델과 데이터 크기를 더 확장하여 사전 훈련 손실을 낮추면 이전 LM에는 없던 새로운 능력을 활용할 수 있습니다.