**Formulation of Scaling Laws for LLMs**. Currently, LLMs are mainly built upon the Transformer architecture [22], where multi-head attention layers are stacked in a very deep neural network. Existing LLMs adopt similar Transformer architectures and pre-training objectives (_e.g._, language modeling) as small language models. However, LLMs significantly extend the model size, data size, and total compute (orders of magnification). Extensive research has shown that scaling can largely improve the model capacity of LLMs [56, 55, 26]. Thus, it is useful to establish a quantitative approach to characterizing the scaling effect. Next, we introduce two representative scaling laws for Transformer language models [30, 34].
**LLM의 Scaling laws 공식화**. 현재 LLM은 주로 multi-head attention 레이어가 매우 깊은 신경망에 적층된 Transformer 아키텍처[22]를 기반으로 구축됩니다. 기존 LLM은 소규모 언어 모델과 유사한 Transformer 아키텍처와 사전 학습 목표(예: 언어 모델링)를 채택합니다. 그러나 LLM은 모델 크기, 데이터 크기 및 총 계산량을 크게 확장합니다(배율 차이). 광범위한 연구에 따르면 scaling을 통해 LLM의 모델 용량을 크게 개선할 수 있는 것으로 나타났습니다[56, 55, 26]. 따라서 scaling 효과를 특성화하는 정량적 접근 방식을 수립하는 것이 유용합니다. 다음에서는 Transformer 언어 모델에 대한 두 가지 대표적인 scaling laws[30, 34]를 소개합니다.
**LLM의 스케일링 법칙 공식화**. 현재 LLM은 주로 다중 헤드 어텐션 레이어가 매우 깊은 신경망에 적층된 트랜스포머 아키텍처[22]를 기반으로 구축됩니다. 기존 LLM은 소규모 언어 모델과 유사한 트랜스포머 아키텍처와 사전 학습 목표(예: 언어 모델링)를 채택합니다. 그러나 LLM은 모델 크기, 데이터 크기 및 총 계산량을 크게 확장합니다(배율 차이). 광범위한 연구에 따르면 스케일링을 통해 LLM의 모델 용량을 크게 개선할 수 있는 것으로 나타났습니다[56, 55, 26]. 따라서 스케일링 효과를 특성화하는 정량적 접근 방식을 수립하는 것이 유용합니다. 다음에서는 트랜스포머 언어 모델에 대한 두 가지 대표적인 스케일링 법칙[30, 34]을 소개합니다.