With respect to the large deviation from Chinchilla Optimal \(\frac{N_{opt}}{D_{opt}}\), we notice that their scaling experiment was conducted in a not very recent configuration. To compare with more recent configuration such as Llama2 (Touvron et al., 2023), we extract the training loss data from Llama2 paper (left part) in Appendix Figure 18 and estimate the compute optimal \(\frac{D_{opt}}{N_{opt}}\) in their paper using the right part of Figure 18. Since they use Cosine LRS, the loss is not optimal in the middle of the training, depicted by the concave curve during training in the right figure of Figure 18. We fill the concave part with a straight line to estimate the optimal loss envelope if they had used the WSD LRS. After that, the compute model size should roughly be the regime that a model's loss curve is about to intersect with a larger model's loss curve. With this intuition, the 13B model is about to intersect with 34B model at \(10^{5}\) EFlops (\(10^{1}\)s Flops), and the 34B model is about to intersect with 70B model at \(5\times 10^{5}\) EFlops. Therefore, we estimate the \(\frac{D_{opt}}{N_{opt}}\) to be roughly \(\frac{5\times 10^{5}}{6\times 34^{2}}\sim\frac{10^{5}}{6\times 13^{2}}\), which is \(70\sim 100\). Therefore, under this approximate comparison, their data-model ratio is closer to ours. And our configuration can absorb more data into a smaller model compared to previous ones. However, we note that the above estimate are only a rough one.
친칠라 최적값에서 큰 편차를 보이는 것과 관련하여, 그들의 scaling 실험은 그리 최근의 구성에서 수행된 것을 알 수 있습니다. Llama2(Touvron et al., 2023)와 같은 최신 구성과 비교하기 위해 부록 그림 18의 Llama2 논문에서 훈련 loss 데이터를 추출하고 그림 18의 오른쪽 부분을 사용하여 논문에서 compute optimal \(\frac{D_{opt}}{N_{opt}}\)를 추정합니다. Cosine LRS를 사용하기 때문에 loss는 훈련 중에 오목한 곡선으로 표시되는 훈련 중반에 최적이 아닙니다. 18 그림의 오른쪽 그림에서 볼 수 있듯이 오목한 부분을 직선으로 채워 WSD LRS를 사용했을 때의 최적 loss 외피를 추정합니다. 그 후 compute 모델 크기는 모델의 loss 곡선이 더 큰 모델의 loss 곡선과 교차하기 직전의 레짐이 되어야 합니다. 이러한 직관을 통해 13B 모델은 \(10^{5}\) EFlops (\(10^{1}\)s Flops)에서 34B 모델과 교차하고, 34B 모델은 \(5\times 10^{5}\) EFlops에서 70B 모델과 교차합니다. 따라서 \(\frac{D_{opt}}{N_{opt}}\)는 대략 \(\frac{5\times 10^{5}}{6\times 34^{2}}\sim\frac{10^{5}}{6\times 13^{2}}\), 즉, \(70\sim 100\)로 추정할 수 있습니다. 따라서 이 대략적인 비교에 따르면, 이들의 데이터-모델 비율은 우리와 더 가깝습니다. 그리고 우리의 구성은 이전 구성에 비해 더 많은 데이터를 더 작은 모델에 흡수할 수 있습니다. 그러나 위의 추정치는 대략적인 추정치일 뿐이라는 점에 유의합니다.
친칠라 최적값에서 큰 편차를 보이는 것과 관련하여, 그들의 스케일링 실험은 그리 최근의 구성에서 수행된 것을 알 수 있습니다. Llama2(Touvron et al., 2023)와 같은 최신 구성과 비교하기 위해 부록 그림 18의 Llama2 논문에서 훈련 손실 데이터를 추출하고 그림 18의 오른쪽 부분을 사용하여 논문에서 계산 최적 \(\frac{D_{opt}}{N_{opt}}\)를 추정합니다. 코사인 LRS를 사용하기 때문에 손실은 훈련 중에 오목한 곡선으로 표시되는 훈련 중반에 최적이 아닙니다. 18 그림의 오른쪽 그림에서 볼 수 있듯이 오목한 부분을 직선으로 채워 WSD LRS를 사용했을 때의 최적 손실 외피를 추정합니다. 그 후 계산 모델 크기는 모델의 손실 곡선이 더 큰 모델의 손실 곡선과 교차하기 직전의 레짐이 되어야 합니다. 이러한 직관을 통해 13B 모델은 \(10^{5}\) EFlops (\(10^{1}\)s Flops)에서 34B 모델과 교차하고, 34B 모델은 \(5\times 10^{5}\) EFlops에서 70B 모델과 교차합니다. 따라서 \(\frac{D_{opt}}{N_{opt}}\)는 대략 \(\frac{5\times 10^{5}}{6\times 34^{2}}\sim\frac{10^{5}}{6\times 13^{2}}\), 즉, \(70\sim 100\)로 추정할 수 있습니다. 따라서 이 대략적인 비교에 따르면, 이들의 데이터-모델 비율은 우리와 더 가깝습니다. 그리고 우리의 구성은 이전 구성에 비해 더 많은 데이터를 더 작은 모델에 흡수할 수 있습니다. 그러나 위의 추정치는 대략적인 추정치일 뿐이라는 점에 유의합니다.