Emergence of "Skills" and Scaling Laws:Scaling laws give us an insight on bang-for-the-buck style trade-off for model training. However, cross-entropy loss is not a goal in and of itself: we want to train models that are endowed with a larger and larger skill set as we scale them up.
"스킬"과 Scaling laws의 출현: Scaling laws는 모델 학습에 대한 가격 대비 성능 비교에 대한 통찰력을 제공합니다. 그러나 cross-entropy Loss는 그 자체로 목표가 아닙니다. 우리는 모델을 확장할 때 점점 더 넓은 스킬 세트를 갖춘 모델을 훈련하고자 합니다.
"스킬"과 스케일링 법칙의 출현: 스케일링 법칙은 모델 학습에 대한 가격 대비 성능 비교에 대한 통찰력을 제공합니다. 그러나 교차 엔트로피 손실은 그 자체로 목표가 아닙니다. 우리는 모델을 확장할 때 점점 더 넓은 스킬 세트를 갖춘 모델을 훈련하고자 합니다.