To find the limit of continuously training this fixed-sized LM, we estimate how the model's optimal performance changes with its computation during continuous training. By optimal performance, we mean the loss of training token \(D\) is achieved by \(WSD(D,0.1D)\). With a series of \(D\), the losses will form the optimal loss envelope. Due to uncertainty about the function form of the loss envelope, we try two fitting formulas: (1) exponential: \(L(C)=\alpha e^{-\beta C}+L_{0}\) and (2) power-law: \(L(C)=\beta C^{-\alpha}+L_{0}\). The fitting results for both functions are in Appendix B.2. We find that the power-law form fits better (similar to the Cosine LRS (Kaplan et al., 2020)). In Figure 6, the fitted curve is shown in green dotted lines. To intuitively estimate and comprehend the effect of continuous training such a fixed-sized model, we also trained a 0.17B model with \(WSD(40N,4N)\), which is shown in pink in Figure 6. We can see that a 0.036B model can match the performance of a 0.17B model with an acceptable increase (\(\sim 4\) times) in training compute while saving a lot of inference computation (Sardana and Frankle, 2023) (saving \(\sim 5\) times per inference call), indicating a better inference-compute-optimal setting Sardana and Frankle (2023).
이 고정 크기의 LM을 지속적으로 훈련하는 한계를 찾기 위해 지속적인 훈련 중에 모델의 최적 성능이 계산에 따라 어떻게 변하는지 추정합니다. 최적의 성능이란 트레이닝 토큰 \(D\)의 Loss가 \(WSD(D,0.1D)\)에 의해 달성되는 것을 의미합니다. 일련의 \(D\)가 있으면 Loss는 최적의 Loss 외피를 형성합니다. Loss 외피의 함수 형태에 대한 불확실성으로 인해 (1) 지수: \(L(C)=\alpha e^{-\beta C}+L_{0}\) 및 (2) 거듭제곱 법칙: \(L(C)=\beta C^{-\alpha}+L_{0}\)의 두 가지 피팅 공식을 시도합니다. 두 함수에 대한 피팅 결과는 부록 B.2에 나와 있습니다. 거듭제곱 법칙 형태가 더 잘 맞는다는 것을 알 수 있습니다(코사인 LRS(Kaplan et al., 2020)와 유사). 그림 6에 피팅된 곡선이 점선으로 녹색으로 표시되어 있습니다. 이러한 고정 크기의 모델을 지속적으로 훈련하는 효과를 직관적으로 추정하고 이해하기 위해 그림 6의 분홍색에 표시된 \(WSD(40N,4N)\)으로 0.17B 모델을 훈련했습니다. 0.036B 모델이 훈련 계산량을 허용 가능한 수준으로 증가시키면서(약 4배) 0.17B 모델의 성능을 따라잡을 수 있고, 추론 계산량을 많이 절약할 수 있다는 것을 알 수 있습니다(Sardana and Frankle, 2023)(추론 호당 약 5배 절약)로 추론 계산 최적화가 더 잘 이루어졌다는 것을 알 수 있습니다 Sardana and Frankle (2023).
이 고정 크기의 LM을 지속적으로 훈련하는 한계를 찾기 위해 지속적인 훈련 중에 모델의 최적 성능이 계산에 따라 어떻게 변하는지 추정합니다. 최적의 성능이란 트레이닝 토큰 \(D\)의 손실이 \(WSD(D,0.1D)\)에 의해 달성되는 것을 의미합니다. 일련의 \(D\)가 있으면 손실은 최적의 손실 외피를 형성합니다. 손실 외피의 함수 형태에 대한 불확실성으로 인해 (1) 지수: \(L(C)=\알파 e^{-\베타 C}+L_{0}\) 및 (2) 거듭제곱 법칙: \(L(C)=\베타 C^{-\알파}+L_{0}\)의 두 가지 피팅 공식을 시도합니다. 두 함수에 대한 피팅 결과는 부록 B.2에 나와 있습니다. 거듭제곱 법칙 형태가 더 잘 맞는다는 것을 알 수 있습니다(코사인 LRS(Kaplan et al., 2020)와 유사). 그림 6에 피팅된 곡선이 점선으로 녹색으로 표시되어 있습니다. 이러한 고정 크기의 모델을 지속적으로 훈련하는 효과를 직관적으로 추정하고 이해하기 위해 그림 6의 분홍색에 표시된 \(WSD(40N,4N)\)으로 0.17B 모델을 훈련했습니다. 0.036B 모델이 훈련 계산량을 허용 가능한 수준으로 증가시키면서(약 4배) 0.17B 모델의 성능을 따라잡을 수 있고, 추론 계산량을 많이 절약할 수 있다는 것을 알 수 있습니다(Sardana and Frankle, 2023)(추론 호당 약 5배 절약)로 추론 계산 최적화가 더 잘 이루어졌다는 것을 알 수 있습니다 Sardana and Frankle (2023).