\(\bullet\)_Task-level predictability_. Existing research of scaling laws are mostly conducted in terms of language modeling loss (_e.g._, per-token cross-entropy loss in nats [30]), while in practice we are more concerned about the performance of LLMs on actual tasks. Thus, a basic problem is that how the decrease of language modeling loss translates into the improvement of task performance [58]. Intuitively, a model with a smaller language modeling loss tends to yield a better performance on downstream tasks, since language modeling loss can be considered as a general measure of the overall model capacity. GPT-4 [46] has reported that some capabilities (_e.g._, coding ability) can be accurately predicted via scaling law. Despite that, readers should be aware that a direct decrease in language modeling loss does not always indicate an improvement of model performance on downstream tasks. Specially, the phenomenon of _inverse scaling_ would occur for some tasks, where task performance surprisingly becomes worse as the language modeling loss decreases [62]. Overall, it is more difficult to explore and characterize task-level scaling laws, since it might be also dependent on task-related information (task metric, task difficulty, etc.). Furthermore, some capacities (_e.g._, in-context learning [55]) are unpredictable according to the scaling law, which can be observed only when the model size exceeds a certain level (as discussed below).
\(\bullet\)_작업 수준의 예측 가능성_. Scaling laws에 대한 기존 연구는 대부분 언어 모델링 Loss(_예: nats[30]의 토큰당 교차 엔트로피 Loss)의 관점에서 수행되는 반면, 실제로는 실제 작업에서 LLM의 성능에 더 관심이 있습니다. 따라서 기본적인 문제는 언어 모델링 Loss의 감소가 작업 성능의 개선으로 어떻게 이어지는지에 대한 것입니다[58]. 직관적으로 언어 모델링 Loss는 전체 모델 용량의 일반적인 척도로 간주될 수 있기 때문에 언어 모델링 Loss가 작은 모델일수록 다운스트림 작업에서 더 나은 성능을 발휘하는 경향이 있습니다. GPT-4 [46]는 일부 기능(예: 코딩 능력)을 Scaling law를 통해 정확하게 예측할 수 있다고 보고했습니다. 그럼에도 불구하고 독자들은 언어 모델링 Loss의 직접적인 감소가 항상 다운스트림 작업에서 모델 성능의 향상을 의미하는 것은 아니라는 점을 인지해야 합니다. 특히, 언어 모델링 Loss가 감소함에 따라 작업 성능이 놀랍게도 악화되는 _역적 Scaling_ 현상이 일부 작업에서 발생할 수 있습니다[62]. 전반적으로 작업 수준의 Scaling laws를 탐색하고 특성화하는 것은 작업 관련 정보(작업 metric, 작업 난이도 등)에 따라 달라질 수 있기 때문에 더 어렵습니다. 또한, 일부 기능(예: In-Context Learning [55])은 Scaling law에 따라 예측할 수 없으며, 이는 모델 크기가 특정 수준을 초과할 때만 관찰할 수 있습니다(아래에서 논의한 바와 같이).
\(\bullet\)_작업 수준의 예측 가능성_. 스케일링 법칙에 대한 기존 연구는 대부분 언어 모델링 손실(_예: nats[30]의 토큰당 교차 엔트로피 손실)의 관점에서 수행되는 반면, 실제로는 실제 작업에서 LLM의 성능에 더 관심이 있습니다. 따라서 기본적인 문제는 언어 모델링 손실의 감소가 작업 성능의 개선으로 어떻게 이어지는지에 대한 것입니다[58]. 직관적으로 언어 모델링 손실은 전체 모델 용량의 일반적인 척도로 간주될 수 있기 때문에 언어 모델링 손실이 작은 모델일수록 다운스트림 작업에서 더 나은 성능을 발휘하는 경향이 있습니다. GPT-4 [46]는 일부 기능(예: 코딩 능력)을 스케일링 법칙을 통해 정확하게 예측할 수 있다고 보고했습니다. 그럼에도 불구하고 독자들은 언어 모델링 손실의 직접적인 감소가 항상 다운스트림 작업에서 모델 성능의 향상을 의미하는 것은 아니라는 점을 인지해야 합니다. 특히, 언어 모델링 손실이 감소함에 따라 작업 성능이 놀랍게도 악화되는 _역적 스케일링_ 현상이 일부 작업에서 발생할 수 있습니다[62]. 전반적으로 작업 수준의 스케일링 법칙을 탐색하고 특성화하는 것은 작업 관련 정보(작업 메트릭, 작업 난이도 등)에 따라 달라질 수 있기 때문에 더 어렵습니다. 또한, 일부 기능(예: 컨텍스트 내 학습 [55])은 스케일링 법칙에 따라 예측할 수 없으며, 이는 모델 크기가 특정 수준을 초과할 때만 관찰할 수 있습니다(아래에서 논의한 바와 같이).