From this equation, we can explain the emergent abilities observed in [47]: when model sizes are smaller than \(N_{0}\cdot\left(\eta-L_{\infty}\right)^{-1/\alpha_{N}}\), the normalized performance is zero. When model sizes exceed \(N_{0}\cdot\left(\eta-L_{\infty}\right)^{-1/\alpha_{N}}\), the increase in model size leads to a decrease of pre-training loss and an improvement in normalized performance.
이 방정식을 통해 [47]에서 관찰된 새로운 능력을 설명할 수 있습니다: 모델 크기가 \(N_{0}\cdot\left(\eta-L_{\infty}\right)^{-1/\alpha_{N}}\)보다 작으면 정규화된 성능이 0이 됩니다. 모델 크기가 \(N_{0}\cdot\left(\eta-L_{\infty}\right)^{-1/\alpha_{N}}\)를 초과하면 모델 크기가 증가하면 pre-training loss가 감소하고 정규화된 성능이 향상됩니다.
이 방정식을 통해 [47]에서 관찰된 새로운 능력을 설명할 수 있습니다: 모델 크기가 \(N_{0}\cdot\left(\eta-L_{\infty}\right)^{-1/\alpha_{N}}\)보다 작으면 정규화된 성능이 0이 됩니다. 모델 크기가 \(N_{0}\cdot\left(\eta-L_{\infty}\right)^{-1/\alpha_{N}}\)를 초과하면 모델 크기가 증가하면 사전 학습 손실이 감소하고 정규화된 성능이 향상됩니다.