Scaling Laws:Neural scaling laws have been ubiquitously observed in vision, language and speech. Early large scale empirical studies are performed in (Hestness et al., 2017; Rosenfeld et al., 2020), demonstrating power law scaling across a range of learning scenarios. This is followed by well-known large-scale studies from OpenAI (Kaplan et al., 2020) and DeepMind (Hoffmann et al., 2022), which empirically demonstrate power-law scaling in LLMs across a wide set of scales.
스케일링 법칙: 신경 Scaling laws는 비전, 언어 및 음성에서 보편적으로 관찰되었습니다. 초기 대규모 실증 연구는 (Hestness et al., 2017; Rosenfeld et al., 2020)에서 수행되었으며, 다양한 학습 시나리오에 걸쳐 power law scaling을 입증했습니다. 이어서 OpenAI(Kaplan et al., 2020)와 DeepMind(Hoffmann et al., 2022)의 대규모 연구가 이어졌으며, 이 연구에서는 광범위한 규모에 걸쳐 LLM에서 power-law scaling을 실증적으로 입증했습니다.
스케일링 법칙: 신경 스케일링 법칙은 비전, 언어 및 음성에서 보편적으로 관찰되었습니다. 초기 대규모 실증 연구는 (Hestness et al., 2017; Rosenfeld et al., 2020)에서 수행되었으며, 다양한 학습 시나리오에 걸쳐 거듭제곱 법칙 스케일링을 입증했습니다. 이어서 OpenAI(Kaplan et al., 2020)와 DeepMind(Hoffmann et al., 2022)의 대규모 연구가 이어졌으며, 이 연구에서는 광범위한 규모에 걸쳐 LLM에서 거듭제곱 법칙 스케일링을 실증적으로 입증했습니다.