On the error analyses.Leveraging scaling laws requires experiments to provide samples to fit the functions. Consequently, it requires careful design of experiments (Mead, 1990) to decide the number of fitting samples to experiment with and how to distribute these samples to reduce prediction errors to the greatest extent. In this study, we decide the number according to our affordable budget and leverage the simple rule that evenly distributes the losses of the data samples but considering more theoretically justified rules should be necessary. Additionally, our nested use of scaling laws can introduce errors in each step. Therefore, further analyses to mitigate the error accumulation are also demanding. In Fig. 7, we notice our predictions are smaller than the actual loss, which we attribute to the underestimation from the step laws and model size laws we fit. Further practical experience demystifies the technical details of scaling laws (Su et al., 2024) can help eliminate the errors.
오류 분석에서. Scaling laws를 활용하려면 함수에 맞는 샘플을 제공하는 실험이 필요합니다. 따라서 실험을 통해 실험할 fitting 샘플의 수를 결정하고 이러한 샘플을 분산하여 예측 오류를 최대한 줄이는 방법을 결정하기 위해서는 신중한 실험 설계(Mead, 1990)가 필요합니다. 이 연구에서는 저희가 감당할 수 있는 예산에 따라 수를 결정하고 데이터 샘플의 loss를 균등하게 분산시키는 간단한 규칙을 활용하지만, 이론적으로 더 정당화되는 규칙을 고려해야 합니다. 또한 Scaling laws를 중첩하면 각 단계에서 오류가 발생할 수 있습니다. 따라서 오류 누적을 완화하기 위한 추가 분석도 필요합니다. 그림 7에서 우리의 예측이 실제 loss보다 작다는 것을 알 수 있는데, 이는 우리가 맞춘 단계 법칙과 모델 크기 법칙의 과소평가 때문이라고 생각합니다. Scaling laws의 기술적 세부 사항을 푸는 실제 경험(Su et al., 2024)은 오류를 제거하는 데 도움이 될 수 있습니다.
오류 분석에서.스케일링 법칙을 활용하려면 함수에 맞는 샘플을 제공하는 실험이 필요합니다. 따라서 실험을 통해 실험할 피팅 샘플의 수를 결정하고 이러한 샘플을 분산하여 예측 오류를 최대한 줄이는 방법을 결정하기 위해서는 신중한 실험 설계(Mead, 1990)가 필요합니다. 이 연구에서는 저희가 감당할 수 있는 예산에 따라 수를 결정하고 데이터 샘플의 손실을 균등하게 분산시키는 간단한 규칙을 활용하지만, 이론적으로 더 정당화되는 규칙을 고려해야 합니다. 또한 스케일링 법칙을 중첩하면 각 단계에서 오류가 발생할 수 있습니다. 따라서 오류 누적을 완화하기 위한 추가 분석도 필요합니다. 그림 7에서 우리의 예측이 실제 손실보다 작다는 것을 알 수 있는데, 이는 우리가 맞춘 단계 법칙과 모델 크기 법칙의 과소평가 때문이라고 생각합니다. 스케일링 법칙의 기술적 세부 사항을 푸는 실제 경험(Su et al., 2024)은 오류를 제거하는 데 도움이 될 수 있습니다.