Certainly, the observations on the second groups of datasets can also be related to emergent abilities [47], that is, abilities that only present in large models. According to the scaling law, with the number of training tokens fixed, the pre-training loss follows a power law with respect to model sizes. In other words, there is a monotonic relationship between model size and pre-training loss. For the second group of tasks, there is a threshold of model sizes that corresponds to the tipping point in the pre-training loss. When the model size exceeds this threshold, the model can exhibit performance above the random chance level.
물론 두 번째 데이터 세트 그룹에 대한 관찰은 대규모 모델에서만 나타나는 능력, 즉 emergent abilities [47]과도 관련이 있습니다. Scaling law에 따르면, 훈련 토큰 수가 고정된 경우 사전 훈련 loss는 모델 크기에 대한 거듭제곱 법칙을 따릅니다. 즉, 모델 크기와 사전 훈련 loss 사이에는 단조로운 관계가 있습니다. 두 번째 작업 그룹의 경우, 사전 훈련 loss의 전환점에 해당하는 모델 크기의 임계값이 있습니다. 모델 크기가 이 임계값을 초과하면 모델은 무작위 확률 수준 이상의 성능을 발휘할 수 있습니다.
물론 두 번째 데이터 세트 그룹에 대한 관찰은 대규모 모델에서만 나타나는 능력, 즉 출현 능력 [47]과도 관련이 있습니다. 스케일링 법칙에 따르면, 훈련 토큰 수가 고정된 경우 사전 훈련 손실은 모델 크기에 대한 거듭제곱 법칙을 따릅니다. 즉, 모델 크기와 사전 훈련 손실 사이에는 단조로운 관계가 있습니다. 두 번째 작업 그룹의 경우, 사전 훈련 손실의 전환점에 해당하는 모델 크기의 임계값이 있습니다. 모델 크기가 이 임계값을 초과하면 모델은 무작위 확률 수준 이상의 성능을 발휘할 수 있습니다.