**How Emergent Abilities Relate to Scaling Laws**. In existing literature [30, 31, 34], scaling laws and emergent abilities provide two perspectives to understand the advantage of large models over small models. In general, scaling law (often measured by _language modeling loss_) describes predictable performance relation with the potential effect of diminishing returns, while emergent abilities (often measured by _task performance_) are unpredictable but very profitable once such abilities actually emerge. Since the two perspectives reflect different performance trends (continuous improvement _v.s._ sharp performance leap), they might lead to misaligned findings or observations. There are also extensive debates on the rationality of emergent abilities. A popular speculation is that emergent abilities might be partially attributed to the evaluation setting for special tasks (_e.g.,_ the discontinuous evaluation metrics) [70, 71]: when evaluation metrics are altered accordingly, the sharpness of the emergent ability curve would disappear. However, the performance of LLMs on most tasks are perceived by users naturally in a discontinuous way. For instance, end users prefer a reliable code generated by LLMs that can successfully pass the test case, but are less interested in selecting a better code with fewer errors between two failed ones. More recently, a study [72] proposes a new evaluation setting that can enlarge the resolution of task metrics, making task performance more predictable. Despite these efforts, more fundamental research (_e.g.,_ grokking10) about the working mechanism of LLMs is still in need to understand the emergence of certain abilities. The subtle relation between scaling law and emergent abilities can be explained by analogy with the ability acquisition of human11. Take the speaking ability as an example. For children, language development (especially infants) can be also considered as a multi-level process where "emergent abilities" occur. Specially, the language ability would relatively stable within a time interval, but qualitative change only occurs when evolving into another ability level (_e.g.,_ from speaking simple words to speaking simple sentences). Such a learning process is essentially not _smooth_ and _stable_ (_i.e.,_ language ability does not develop at a constant rate over time), though a child actually grows every day. It is interesting that young parents would be often surprised by unexpected progress of the speaking ability exhibited by their babies.
**출현 능력과 Scaling laws의 관계**. 기존 문헌[30, 31, 34]에서 Scaling laws와 출현 능력은 대규모 모델이 소규모 모델에 비해 우위를 점하는 이점을 이해하기 위한 두 가지 관점을 제공합니다. 일반적으로 Scaling law(종종 _language modeling loss_로 측정)는 예측 가능한 성능 관계를 설명하며, 출현 능력(종종 _task performance_로 측정)은 예측할 수 없지만 실제로 그러한 능력이 출현하면 매우 유리한 성능을 제공합니다. 두 관점은 서로 다른 성능 추세(지속적인 개선 _v.s._ 급격한 성능 도약)를 반영하기 때문에 잘못된 결과나 관찰로 이어질 수 있습니다. 또한 출현 능력의 합리성에 대한 광범위한 논쟁도 있습니다. 대중적인 추측은 출현 능력이 특수 작업에 대한 평가 설정(_예:_ 불연속적인 평가 지표) [70, 71]에 부분적으로 기인할 수 있다는 것입니다: 평가 지표가 그에 따라 변경되면 출현 능력 곡선의 급격함이 사라질 것입니다. 그러나 대부분의 작업에서 LLM의 성능은 사용자가 불연속적인 방식으로 자연스럽게 인식합니다. 예를 들어, 최종 사용자는 테스트 케이스를 성공적으로 통과할 수 있는 LLM이 생성한 신뢰할 수 있는 코드를 선호하지만, 실패한 두 코드 중 오류가 더 적은 코드를 선택하는 데는 덜 관심이 있습니다. 최근에는 작업 지표의 해상도를 높여 작업 성능을 더 예측 가능하게 만드는 새로운 평가 설정을 제안하는 연구 [72]가 있습니다. 이러한 노력에도 불구하고 특정 능력의 출현을 이해하기 위해서는 LLM의 작동 메커니즘에 대한 보다 근본적인 연구(_예:_ grokking10)가 여전히 필요합니다. Scaling law와 출현 능력 사이의 미묘한 관계는 인간의 능력 습득과 비유하여 설명할 수 있습니다11. 말하기 능력을 예로 들 수 있습니다. 어린이에게 있어 언어 발달(특히 유아기)은 '출현 능력'이 발생하는 다단계 과정으로 간주될 수 있습니다. 특히 언어 능력은 일정 시간 간격 내에서 상대적으로 안정적이지만, 다른 능력 수준으로 발전할 때만(_예: 단순한 단어 말하기에서 단순한 문장 말하기로_) 질적인 변화가 일어납니다. 이러한 학습 과정은 본질적으로 _매끄럽고_ 안정적이지 않습니다(_즉, 언어 능력이 시간이 지남에 따라 일정한 속도로 발전하지 않음), 하지만 아이는 실제로 매일 성장합니다. 어린 부모는 아기가 보여주는 예상치 못한 말하기 능력의 발전에 놀랄 때가 많다는 점이 흥미롭습니다.
**출현 능력과 스케일링 법칙의 관계**. 기존 문헌[30, 31, 34]에서 스케일링 법칙과 출현 능력은 대규모 모델이 소규모 모델에 비해 우위를 점하는 이점을 이해하기 위한 두 가지 관점을 제공합니다. 일반적으로 스케일링 법칙(종종 _언어 모델링 손실_로 측정)은 예측 가능한 성능 관계를 설명하며, 출현 능력(종종 _작업 성능_으로 측정)은 예측할 수 없지만 실제로 그러한 능력이 출현하면 매우 유리한 성능을 제공합니다. 두 관점은 서로 다른 성능 추세(지속적인 개선 _v.s._ 급격한 성능 도약)를 반영하기 때문에 잘못된 결과나 관찰로 이어질 수 있습니다. 또한 출현 능력의 합리성에 대한 광범위한 논쟁도 있습니다. 대중적인 추측은 출현 능력이 특수 작업에 대한 평가 설정(_예:_ 불연속적인 평가 지표) [70, 71]에 부분적으로 기인할 수 있다는 것입니다: 평가 지표가 그에 따라 변경되면 출현 능력 곡선의 급격함이 사라질 것입니다. 그러나 대부분의 작업에서 LLM의 성능은 사용자가 불연속적인 방식으로 자연스럽게 인식합니다. 예를 들어, 최종 사용자는 테스트 케이스를 성공적으로 통과할 수 있는 LLM이 생성한 신뢰할 수 있는 코드를 선호하지만, 실패한 두 코드 중 오류가 더 적은 코드를 선택하는 데는 덜 관심이 있습니다. 최근에는 작업 지표의 해상도를 높여 작업 성능을 더 예측 가능하게 만드는 새로운 평가 설정을 제안하는 연구 [72]가 있습니다. 이러한 노력에도 불구하고 특정 능력의 출현을 이해하기 위해서는 LLM의 작동 메커니즘에 대한 보다 근본적인 연구(_예:_ 그로킹10)가 여전히 필요합니다. 스케일링 법칙과 출현 능력 사이의 미묘한 관계는 인간의 능력 습득과 비유하여 설명할 수 있습니다11. 말하기 능력을 예로 들 수 있습니다. 어린이에게 있어 언어 발달(특히 유아기)은 '출현 능력'이 발생하는 다단계 과정으로 간주될 수 있습니다. 특히 언어 능력은 일정 시간 간격 내에서 상대적으로 안정적이지만, 다른 능력 수준으로 발전할 때만(_예: 단순한 단어 말하기에서 단순한 문장 말하기로_) 질적인 변화가 일어납니다. 이러한 학습 과정은 본질적으로 _매끄럽고_ 안정적이지 않습니다(_즉, 언어 능력이 시간이 지남에 따라 일정한 속도로 발전하지 않음), 하지만 아이는 실제로 매일 성장합니다. 어린 부모는 아기가 보여주는 예상치 못한 말하기 능력의 발전에 놀랄 때가 많다는 점이 흥미롭습니다.