As for the concrete data-to-model ratio \(\frac{D_{opt}}{N_{opt}}\), we notice that there is a huge gap in compute optimal regime of between ours and Hoffmann et al. (2022) despite that the trend of \(\frac{D_{opt}}{N_{opt}}\), with compute \(C\) is aligned between ours and theirs. Specifically, the data size should be 192 times larger than the model size on average, as opposed to 20 times in Hoffmann et al. (2022). We note that this aligns with the observation in Section 4.3 and Figure 6.
구체적인 데이터 대 모델 비율 \(\frac{D_{opt}}{N_{opt}}\)에 대해, 계산 최적화 체제에서 우리의 결과와 Hoffmann et al. (2022)의 결과 사이에 큰 차이가 있음을 알 수 있습니다. 비록 계산 \(C\)와 함께 \(\frac{D_{opt}}{N_{opt}}\)의 경향은 우리의 결과와 그들의 결과가 일치하지만, 데이터 크기는 평균적으로 모델 크기보다 192배 더 커야 하며, 이는 Hoffmann et al. (2022)에서 제시된 20배와는 대조적입니다. 이는 섹션 4.3과 그림 6에서의 관찰과 일치함을 주목합니다.
구체적인 데이터 대 모델 비율 \frac{D_{opt}}{N_{opt}}\)의 경우, 계산 최적 레짐에서 우리와 Hoffmann et al. (2022) 사이에 큰 격차가 있는데, 계산 \(C\)를 사용한 \frac{D_{opt}}{N_{opt}}\)의 추세는 우리와 그들의 추세가 일치한다는 점에 주목할 필요가 있습니다. 구체적으로, 데이터 크기는 평균적으로 모델 크기보다 192배 더 커야 하는데, Hoffmann et al. (2022)에서는 20배입니다. 이는 섹션 4.3 및 그림 6의 관찰과 일치한다는 점에 유의합니다.