After conducting theoretical analysis and deriving scaling laws, this section presents empirical experiments to validate the efficacy of scaling laws. Following standard practice, we utilized the decoder-only Transformer architecture [17] and conducted experiments on two datasets: one utilizing the C4 dataset and the other utilizing a customized mixed dataset. We followed the estimation steps outlined above to derive the scaling-law formulas.
이번 절에서는 이론적 분석을 수행하고 scaling laws를 도출한 후, scaling laws의 효율성을 검증하기 위한 실증 실험을 제시한다. 표준 관행에 따라 decoder-only Transformer 아키텍처 [17]를 활용하고 두 가지 데이터 세트에 대한 실험을 수행했다: 하나는 C4 데이터 세트를 활용하고 다른 하나는 맞춤형 혼합 데이터 세트를 활용했다. 위에서 설명한 추정 단계에 따라 scaling-law 공식을 도출했다.
이번 절에서는 이론적 분석을 수행하고 스케일링 법칙을 도출한 후, 스케일링 법칙의 효율성을 검증하기 위한 실증 실험을 제시한다. 표준 관행에 따라 디코더 전용 트랜스포머 아키텍처 [17]를 활용하고 두 가지 데이터 세트에 대한 실험을 수행했다: 하나는 C4 데이터 세트를 활용하고 다른 하나는 맞춤형 혼합 데이터 세트를 활용했다. 위에서 설명한 추정 단계에 따라 스케일링 법칙 공식을 도출했다.