Our idealized setting, free from irrelevant data, allows for more accurate scaling law computations -- we also discuss how "junk" data affects capacity later in Section 10. In contrast, it is difficult to quantify real-life knowledge; for instance, if LLaMA-70B outperforms LLaMA-7B by 30% on a benchmark, it doesn't necessarily mean a tenfold model scaling only boosts capacity by 30% (see Footnote 1).
우리의 이상적인 설정은 관련 없는 데이터가 없는 상태에서 더 정확한 스케일링 법칙 계산을 가능하게 합니다 -- 또한 "쓸모없는" 데이터가 용량에 미치는 영향에 대해서는 나중에 10장에서 논의합니다. 반면, 실제 지식을 정량화하는 것은 어렵습니다; 예를 들어, LLaMA-70B가 벤치마크에서 LLaMA-7B보다 30% 더 우수하다고 해서, 모델 크기를 10배로 늘리는 것이 용량을 30%만 증가시킨다는 의미는 아닙니다 (Footnote 1을 참조하십시오).
관련 없는 데이터가 없는 이상화된 환경에서는 보다 정확한 스케일링 법칙 계산이 가능하며, 섹션 10 후반부에 "정크" 데이터가 용량에 미치는 영향에 대해서도 논의합니다. 반면, 실제 지식을 정량화하기는 어렵습니다. 예를 들어, LLaMA-70B가 벤치마크에서 LLaMA-7B보다 30% 더 우수하다고 해서 반드시 10배의 모델 크기가 용량을 30%만 향상시킨다는 의미는 아닙니다(주 1 참조).