**Basics and Principles.** Instead of training on specific task goals, LLMs learn from unsupervised pre-training on large-scale text data. This is quite different from previous multi-task learning approaches, which aim to extend the training tasks as possible to achieve sufficient generalization. Thus, it is essential to reveal the basic principles or elements that establish the foundation of the abilities of LLMs. Although the basic idea of language models is intuitive, it is still challenging to formally explain why LLMs trained by simple language modeling objectives (_e.g._, next token prediction) can become capable of solving various real-world tasks. To investigate this problem, a promising approach is to study the capacity learning (or selection) mechanism based on unsupervised pre-training, since the model capacity of LLMs strongly depends on pre-training data. In addition, _scaling_ plays an important role in improving the capacity of LLMs [31, 55, 64], and it is very useful to conduct more theoretical analysis about how the behaviors of large models relate to those of small models, _e.g._, what behaviors of large models can be inferred from small models and what can't be predicted indeed. Another research direction is to explore more deep analysis on model generalization for LLMs, since increasing concerns have been raised about whether LLMs can generalize beyond the knowledge encoded by pre-training data. Furthermore, data contamination has become a severe issue for fairly assessing the performance of LLMs [738], and thus setting appropriate evaluation protocol will be the basis to investigate and analyze the model capacity of LLMs.
**기본 및 원리**. LLM은 특정 작업 목표에 대한 훈련 대신 대규모 텍스트 데이터에 대한 비지도 pre-training을 통해 학습합니다. 이는 충분한 일반화를 달성하기 위해 가능한 한 훈련 작업을 확장하는 것을 목표로 하는 기존의 multi-task learning 접근 방식과는 상당히 다릅니다. 따라서 LLM의 능력의 기반을 다지는 기본 원리 또는 요소를 밝히는 것이 필수적입니다. 언어 모델의 기본 아이디어는 직관적이지만, 단순한 언어 모델링 목표(예: 다음 토큰 예측)에 의해 훈련된 LLM이 다양한 실제 작업을 해결할 수 있는 이유를 공식적으로 설명하는 것은 여전히 어려운 문제입니다. 이 문제를 조사하기 위해 LLM의 모델 용량이 pre-training 데이터에 크게 의존하기 때문에 비지도 pre-training을 기반으로 한 용량 학습(또는 선택) 메커니즘을 연구하는 것이 유망한 접근 방식입니다. 또한, scaling은 LLM의 용량을 향상시키는 데 중요한 역할을 하며, 대규모 모델의 행동이 소규모 모델의 행동과 어떤 관련이 있는지, 즉 대규모 모델의 어떤 행동이 소규모 모델에서 유추할 수 있는지, 실제로 예측할 수 없는 행동은 무엇인지에 대해 보다 이론적인 분석을 수행하는 것은 매우 유용합니다. 또 다른 연구 방향은 LLM에 대한 모델 일반화에 대한 더 깊은 분석을 탐구하는 것인데, 이는 LLM이 pre-training 데이터에 인코딩된 지식을 넘어 일반화할 수 있는지에 대한 우려가 커지고 있기 때문입니다. 또한, 데이터 오염은 LLM의 성능을 공정하게 평가하는 데 심각한 문제가 되고 있으므로 적절한 평가 프로토콜을 설정하는 것은 LLM의 모델 용량을 조사하고 분석하는 기초가 될 것입니다.
**기본 및 원리**. LLM은 특정 작업 목표에 대한 훈련 대신 대규모 텍스트 데이터에 대한 비지도 사전 훈련을 통해 학습합니다. 이는 충분한 일반화를 달성하기 위해 가능한 한 훈련 작업을 확장하는 것을 목표로 하는 기존의 다중 작업 학습 접근 방식과는 상당히 다릅니다. 따라서 LLM의 능력의 기반을 다지는 기본 원리 또는 요소를 밝히는 것이 필수적입니다. 언어 모델의 기본 아이디어는 직관적이지만, 단순한 언어 모델링 목표(예: 다음 토큰 예측)에 의해 훈련된 LLM이 다양한 실제 작업을 해결할 수 있는 이유를 공식적으로 설명하는 것은 여전히 어려운 문제입니다. 이 문제를 조사하기 위해 LLM의 모델 용량이 사전 학습 데이터에 크게 의존하기 때문에 비지도 사전 학습을 기반으로 한 용량 학습(또는 선택) 메커니즘을 연구하는 것이 유망한 접근 방식입니다. 또한, 스케일링_은 LLM의 용량을 향상시키는 데 중요한 역할을 하며, 대규모 모델의 행동이 소규모 모델의 행동과 어떤 관련이 있는지, 즉 대규모 모델의 어떤 행동이 소규모 모델에서 유추할 수 있는지, 실제로 예측할 수 없는 행동은 무엇인지에 대해 보다 이론적인 분석을 수행하는 것은 매우 유용합니다. 또 다른 연구 방향은 LLM에 대한 모델 일반화에 대한 더 깊은 분석을 탐구하는 것인데, 이는 LLM이 사전 학습 데이터에 인코딩된 지식을 넘어 일반화할 수 있는지에 대한 우려가 커지고 있기 때문입니다. 또한, 데이터 오염은 LLM의 성능을 공정하게 평가하는 데 심각한 문제가 되고 있으므로 적절한 평가 프로토콜을 설정하는 것은 LLM의 모델 용량을 조사하고 분석하는 기초가 될 것입니다.