Footnote 1: There is a rich literature comparing how pretrained models perform on benchmark tasks. Most comparisons are for different model families trained over different data: if LLaMA-70B is better than Mistral-7B, does the gain come from its choice of pretrain data, or the architecture difference, or really the size of the model? Some comparisons are among the same architecture, such as LLaMA-70B scores 63.6% on the world knowledge benchmark while LLaMA-7B scores only 48.9% [33]; does this mean increasing model size by 10x increases its capacity only to 130% = 63.6/48.9? Thus, it is highly important to use a more principled framework to study scaling laws in a controlled setting.
각주 1: 사전 학습된 모델이 벤치마크 작업에서 어떻게 수행되는지 비교하는 풍부한 문헌이 있습니다. 대부분의 비교는 서로 다른 데이터에 대해 학습된 서로 다른 모델 제품군에 대한 비교입니다. LLaMA-70B가 Mistral-7B보다 나은 경우, 그 이득은 사전 학습 데이터의 선택에서 비롯된 것일까요, 아니면 architecture의 차이에서 비롯된 것일까요, 아니면 정말 모델의 크기에서 비롯된 것일까요? LLaMA-70B는 세계 지식 벤치마크에서 63.6%를 기록하는 반면, LLaMA-7B는 48.9%만 기록하는 등 동일한 architecture 간의 비교도 있습니다[33]. 이는 모델 크기를 10배 늘리면 용량이 130% = 63.6/48.9만 증가한다는 의미일까요? 따라서 통제된 환경에서 scaling laws를 연구하기 위해 보다 원칙적인 프레임워크를 사용하는 것이 매우 중요합니다.
각주 1: 사전 학습된 모델이 벤치마크 작업에서 어떻게 수행되는지 비교하는 풍부한 문헌이 있습니다. 대부분의 비교는 서로 다른 데이터에 대해 학습된 서로 다른 모델 제품군에 대한 비교입니다. LLaMA-70B가 Mistral-7B보다 나은 경우, 그 이득은 사전 학습 데이터의 선택에서 비롯된 것일까요, 아니면 아키텍처의 차이에서 비롯된 것일까요, 아니면 정말 모델의 크기에서 비롯된 것일까요? LLaMA-70B는 세계 지식 벤치마크에서 63.6%를 기록하는 반면, LLaMA-7B는 48.9%만 기록하는 등 동일한 아키텍처 간의 비교도 있습니다[33]. 이는 모델 크기를 10배 늘리면 용량이 130% = 63.6/48.9만 증가한다는 의미일까요? 따라서 통제된 환경에서 스케일링 법칙을 연구하기 위해 보다 원칙적인 프레임워크를 사용하는 것이 매우 중요합니다.