While scaling laws focus on the pre-training loss, the scaling effect on the performance of downstream tasks has thus far less studied. Emergent abilities [47] are defined as abilities that present in larger LMs but not present in smaller one. The existence of such abilities is recently challenged for two reasons. First, small LMs trained on a sufficient number of tokens can outperform large models on tasks with claimed emergent abilities [44; 45; 19]. For example, LLaMA-13B with less compute [44] can outperform GPT-3 (175B) on MMLU [14]. Second, [37] claim that emergent abilities appear due to the nonlinear or discontinuous metrics selected to evaluate certain datasets, rather than from a fundamental change in larger models.
스케일링 법칙은 사전 학습 Loss에 초점을 맞추고 있지만, 다운스트림 작업의 성능에 미치는 스케일링 효과는 지금까지 연구가 거의 이루어지지 않았습니다. Emergent abilities[47]는 큰 LMs에는 존재하지만 작은 LMs에는 존재하지 않는 능력으로 정의됩니다. 이러한 능력의 존재는 최근 두 가지 이유로 이의를 제기하고 있습니다. 첫째, 충분한 수의 토큰으로 훈련된 소규모 LMs이 emergent abilities가 주장된 작업에서 대규모 모델보다 뛰어난 성능을 발휘할 수 있습니다[44; 45; 19]. 예를 들어, 컴퓨팅 리소스가 적은 LLaMA-13B[44]는 MMLU[14]에서 GPT-3(175B)보다 뛰어난 성능을 발휘할 수 있습니다. 둘째, [37]은 특정 데이터 세트를 평가하기 위해 선택된 비선형 또는 불연속적인 메트릭으로 인해 emergent abilities가 나타나는 것이지, 더 큰 모델의 근본적인 변화가 아닌 것으로 주장합니다.
스케일링 법칙은 사전 학습 손실에 초점을 맞추고 있지만, 다운스트림 작업의 성능에 미치는 스케일링 효과는 지금까지 연구가 거의 이루어지지 않았습니다. 새로운 능력[47]은 큰 LM에는 존재하지만 작은 LM에는 존재하지 않는 능력으로 정의됩니다. 이러한 능력의 존재는 최근 두 가지 이유로 이의를 제기하고 있습니다. 첫째, 충분한 수의 토큰으로 훈련된 소규모 LM이 새로운 능력이 주장된 작업에서 대규모 모델보다 뛰어난 성능을 발휘할 수 있습니다[44; 45; 19]. 예를 들어, 컴퓨팅 리소스가 적은 LLaMA-13B[44]는 MMLU[14]에서 GPT-3(175B)보다 뛰어난 성능을 발휘할 수 있습니다. 둘째, [37]은 특정 데이터 세트를 평가하기 위해 선택된 비선형 또는 불연속적인 메트릭으로 인해 새로운 능력이 나타나는 것이지, 더 큰 모델의 근본적인 변화가 아닌 것으로 주장합니다.