Scaling LawsScaling laws guide us in discovering the impact of factors such as parameter count, data size, and compute on language model performance and behavior. These studies usually focus on predicable scaling though power law Kaplan et al. (2020), Hernandez et al. (2021), optimal resource allocation Hoffmann et al. (2022), downstream tasks Wei et al. (2022); Isik et al. (2024); Gadre et al. (2024), architectures Tay et al. (2022), memorization Tirumala et al. (2022); Carlini et al. (2022); Henighan et al. (2023); Biderman et al. (2024), and repeating data Hernandez et al. (2022); Muennighoff et al. (2024); Xue et al. (2024). Most scaling laws on model performance study cross-entropy loss on all training tokens, while we focus on the tokens loss of desired distributions.
스케일링 법칙Scaling laws는 파라미터 수, 데이터 크기, 컴퓨팅과 같은 요소가 언어 모델 성능과 동작에 미치는 영향을 발견하는 데 도움이 됩니다. 이러한 연구는 일반적으로 예측 가능한 스케일링, 멱법칙 Kaplan 등(2020), Hernandez 등(2021), 최적의 리소스 할당 Hoffmann 등(2022), 다운스트림 작업 Wei 등(2022), Isik 등(2024), Gadre 등(2024), 아키텍처 Tay 등(2022), 기억화 Tirumala 등(2022), Carlini 등(2022), Henighan 등(2023), Biderman 등(2024), 반복 데이터 Hernandez 등(2022), Muennighoff 등(2024), Xue 등(2024)에 초점을 맞추고 있습니다. 모델 성능에 대한 대부분의 scaling laws는 모든 학습 토큰에 대한 cross-entropy loss를 연구하는 반면, 저희는 원하는 분포의 토큰 손실에 초점을 맞추고 있습니다.
스케일링 법칙스케일링 법칙은 파라미터 수, 데이터 크기, 컴퓨팅과 같은 요소가 언어 모델 성능과 동작에 미치는 영향을 발견하는 데 도움이 됩니다. 이러한 연구는 일반적으로 예측 가능한 스케일링, 멱법칙 Kaplan 등(2020), Hernandez 등(2021), 최적의 리소스 할당 Hoffmann 등(2022), 다운스트림 작업 Wei 등(2022), Isik 등(2024), Gadre 등(2024), 아키텍처 Tay 등(2022), 기억화 Tirumala 등(2022), Carlini 등(2022), Henighan 등(2023), Biderman 등(2024), 반복 데이터 Hernandez 등(2022), Muennighoff 등(2024), Xue 등(2024)에 초점을 맞추고 있습니다. 모델 성능에 대한 대부분의 스케일링 법칙은 모든 학습 토큰에 대한 교차 엔트로피 손실을 연구하는 반면, 저희는 원하는 분포의 토큰 손실에 초점을 맞추고 있습니다.