On joint laws of multiple factors.We propose the nested use of scaling laws for circumventing the difficulties in finding a joint law of training steps, model sizes, and mixture proportions. Although we can predict the losses with our pipeline, a joint law unveils clear synergies of different factors. For instance, previous studies indicate the power-law exponent in the scaling laws of model sizes and training data are insensitive to training and validation data (Hestness et al., 2017; Kaplan et al., 2020; Hashimoto, 2021; Hoffmann et al., 2022; Frantar et al., 2023). Figuring out their joint laws with data mixture can further confirm this surmise. Moreover, a joint law also implements coefficient-sharing of separate laws, reducing the number of required fitting samples.
여러 요인의 공동 법칙에 대해. 훈련 단계, 모델 크기 및 혼합 비율의 공동 법칙을 찾는 데 어려움을 겪는 것을 피하기 위해 scaling laws를 중첩적으로 사용할 것을 제안합니다. 파이프라인을 통해 손실을 예측할 수 있지만, 공동 법칙은 다양한 요인 간의 명확한 시너지를 드러냅니다. 예를 들어, 이전 연구에서는 모델 크기와 훈련 데이터의 scaling laws에서 지수함수는 훈련 및 검증 데이터에 민감하지 않다는 것을 나타냅니다(Hestness et al., 2017; Kaplan et al., 2020; Hashimoto, 2021; Hoffmann et al., 2022; Frantar et al., 2023). 데이터 혼합을 통해 이들의 공동 법칙을 파악하면 이러한 추측을 더욱 확인할 수 있습니다. 또한 공동 법칙은 개별 법칙의 계수 공유를 구현하여 필요한 피팅 샘플의 수를 줄여줍니다.
여러 요인의 공동 법칙에 대해.훈련 단계, 모델 크기 및 혼합 비율의 공동 법칙을 찾는 데 어려움을 겪는 것을 피하기 위해 스케일링 법칙을 중첩적으로 사용할 것을 제안합니다. 파이프라인을 통해 손실을 예측할 수 있지만, 공동 법칙은 다양한 요인 간의 명확한 시너지를 드러냅니다. 예를 들어, 이전 연구에서는 모델 크기와 훈련 데이터의 스케일링 법칙에서 지수함수는 훈련 및 검증 데이터에 민감하지 않다는 것을 나타냅니다(Hestness et al., 2017; Kaplan et al., 2020; Hashimoto, 2021; Hoffmann et al., 2022; Frantar et al., 2023). 데이터 혼합을 통해 이들의 공동 법칙을 파악하면 이러한 추측을 더욱 확인할 수 있습니다. 또한 공동 법칙은 개별 법칙의 계수 공유를 구현하여 필요한 피팅 샘플의 수를 줄여줍니다.