In the previous analysis, we excluded the five experiments with the lowest ratio of training tokens to parameters, as these outliers were challenging to fit using the Chinchilla scaling law. To ensure the robustness of our findings, we now repeat key parts of the analysis without removing these outliers. This additional analysis reveals that our main conclusions remain unchanged, although the parameter estimates are more uncertain when these outliers are included.
이전 분석에서는 훈련 토큰과 파라미터의 비율이 가장 낮은 5개의 실험을 제외했는데, 이러한 이상값은 Chinchilla scaling law를 사용하여 맞추기가 어려웠기 때문입니다. 연구 결과의 robustness를 보장하기 위해 이제 이러한 이상값을 제거하지 않고 분석의 주요 부분을 반복합니다. 이 추가 분석을 통해 이러한 이상값을 포함할 경우 매개변수 추정치가 더 불확실해지지만 주요 결론은 변하지 않는다는 것을 알 수 있습니다.
이전 분석에서는 훈련 토큰과 파라미터의 비율이 가장 낮은 5개의 실험을 제외했는데, 이러한 이상값은 칭칠라 스케일링 법칙을 사용하여 맞추기가 어려웠기 때문입니다. 연구 결과의 강건성을 보장하기 위해 이제 이러한 이상값을 제거하지 않고 분석의 주요 부분을 반복합니다. 이 추가 분석을 통해 이러한 이상값을 포함할 경우 매개변수 추정치가 더 불확실해지지만 주요 결론은 변하지 않는다는 것을 알 수 있습니다.