The concept of emergent abilities in large language models (LLMs) draws researchers attention, as model sizes continue to scale. The phenomenon of "double descent," where a model's validation loss first worsens and then improves with increasing model complexity, was first proposed by Nakkiran et al. (2019). Furthermore, the "grokking" phenomenon, where models continue to improve even without a reduction in training loss, has been detailed by Power et al. (2022) and Murty et al. (2023), providing insight into the non-linear learning trajectories of LLMs.
대규모 언어 모델(LLMs)의 발현 능력 개념은 모델 규모가 계속 확장됨에 따라 연구자들의 관심을 끌고 있습니다. 모델의 validation loss가 먼저 악화되었다가 모델 복잡성이 증가함에 따라 개선되는 'double descent' 현상은 Nakkiran 등(2019)에 의해 처음 제안되었습니다. 또한, 훈련 loss가 감소하지 않더라도 모델이 계속 개선되는 'grokking' 현상은 Power 등(2022)과 Murty 등(2023)에 의해 자세히 설명되어 LLMs의 비선형 학습 궤적에 대한 통찰력을 제공했습니다.
대규모 언어 모델(LLM)의 발현 능력 개념은 모델 규모가 계속 확장됨에 따라 연구자들의 관심을 끌고 있습니다. 모델의 유효성 검사 손실이 먼저 악화되었다가 모델 복잡성이 증가함에 따라 개선되는 '이중 하강' 현상은 Nakkiran 등(2019)에 의해 처음 제안되었습니다. 또한, 훈련 손실이 감소하지 않더라도 모델이 계속 개선되는 '그로킹' 현상은 Power 등(2022)과 Murty 등(2023)에 의해 자세히 설명되어 LLM의 비선형 학습 궤적에 대한 통찰력을 제공했습니다.