where \(L(\cdot)\) denotes the cross entropy loss in nats, and a follow-up study [58] from OpenAI has shown that the language modeling loss can be decomposed into two parts, namely _irreducible loss_ (the entropy of the true data distribution) and _reducible loss_ (an estimate of the KL divergence between the true and model distributions). The three laws were derived by fitting the model performance with varied data sizes (22M to 23B tokens), model sizes (768M to 1.5B non-embedding parameters) and training compute, under some assumptions (_e.g._, the analysis of one factor should be not bottlenecked by the other two factors). They showed that the model performance has a strong dependence relation on the three factors.
여기서 \(L(\cdot)\)는 자연로그 단위의 cross entropy loss를 나타내며, OpenAI의 후속 연구[58]에 따르면 언어 모델링 loss는 두 부분, 즉 _irreducible loss_(실제 데이터 분포의 엔트로피)와 _reducible loss_(실제 분포와 모델 분포 사이의 KL divergence의 추정치)로 분해할 수 있다는 사실이 밝혀졌습니다. 이 세 가지 법칙은 다양한 데이터 크기(22M~23B 토큰), 모델 크기(임베딩 미포함 파라미터 768M~1.5B), 훈련 compute 등의 조건에서 모델 성능을 맞춤으로써 도출되었으며, 몇 가지 가정(_예: 한 요인의 분석이 다른 두 요인에 의해 병목 현상이 발생하지 않아야 함) 하에 도출되었습니다. 이는 모델 성능이 세 가지 요인에 따라 강한 종속 관계를 가지고 있음을 보여주었습니다.
여기서 \(L(\cdot)\)는 자연로그 단위의 교차 엔트로피 손실을 나타내며, OpenAI의 후속 연구[58]에 따르면 언어 모델링 손실은 두 부분, 즉 _환원 불가능한 손실_(실제 데이터 분포의 엔트로피)과 _환원 가능한 손실_(실제 분포와 모델 분포 사이의 KL 발산의 추정치)로 분해할 수 있다는 사실이 밝혀졌습니다. 이 세 가지 법칙은 다양한 데이터 크기(22M~23B 토큰), 모델 크기(임베딩 미포함 파라미터 768M~1.5B), 훈련 컴퓨트 등의 조건에서 모델 성능을 맞춤으로써 도출되었으며, 몇 가지 가정(_예: 한 요인의 분석이 다른 두 요인에 의해 병목 현상이 발생하지 않아야 함) 하에 도출되었습니다. 이는 모델 성능이 세 가지 요인에 따라 강한 종속 관계를 가지고 있음을 보여주었습니다.