From Figure 3, it is evident that, except for tiny models, LLaMA, Mistral, GPT2\({}_{0}\), and GPT2\({}_{1/4}\) architectures closely follow GPT2's scaling law over 1000 exposures. For tiny models with \(\leq 10M\) parameters, tying model weights increases their capacity (refer to Figure 3(c)). This indicates that the _2bit/param capacity ratio is a relatively universal law_ among most typical (decoder-only) language model architectures.
그림 3에서 알 수 있듯이, 작은 모델을 제외하고 LLaMA, Mistral, GPT2\({}_{0}\), GPT2\({}_{1/4}\) 아키텍처는 1000회 노출 이상에서 GPT2의 scaling law를 면밀히 따릅니다. 매개변수가 \(\leq 10M\)인 작은 모델의 경우 모델 가중치를 묶으면 용량이 증가합니다(그림 3(c) 참조). 이는 _2bit/param 용량 비율이 대부분의 일반적인 (decoder-only) 언어 모델 아키텍처에서 비교적 보편적인 법칙임을 나타냅니다.
그림 3에서 알 수 있듯이, 작은 모델을 제외하고 LLaMA, Mistral, GPT2\({}_{0}\), GPT2\({}_{1/4}\) 아키텍처는 1000회 노출 이상에서 GPT2의 스케일링 법칙을 면밀히 따릅니다. 매개변수가 \(\leq 10M\)인 작은 모델의 경우 모델 가중치를 묶으면 용량이 증가합니다(그림 3(c) 참조). 이는 _2비트/파라미터 용량 비율이 대부분의 일반적인(디코더 전용) 언어 모델 아키텍처에서 비교적 보편적인 법칙임을 나타냅니다.