Scaling Laws.In many domains of machine learning including speech, translation, vision, video, and mathematical problem solving, empirically observed neural scaling laws (Hestness et al., 2017; Rosenfeld et al., 2020; Kaplan et al., 2020; Hoffmann et al., 2022; Gordon et al., 2021; Henighan et al., 2021; Aghajanyan et al., 2023) demonstrate that test error often falls off as a power law with the amount of training data, model size, and compute. Theoretically, scaling laws have been derived in a variety of settings (e.g. Hutter (2021); Cabannes et al. (2023) for "LLM-like" models).
스케일링 법칙. 음성, 번역, 비전, 비디오, 수학 문제 해결 등 머신 러닝의 여러 영역에서 경험적으로 관찰된 신경 Scaling laws (Hestness et al., 2017; Rosenfeld et al., 2020; Kaplan et al., 2020; Hoffmann et al., 2022; Gordon et al., 2021; Henighan et al., 2021; Aghajanyan et al., 2023)에 따르면 테스트 오류는 훈련 데이터, 모델 크기 및 컴퓨팅량에 따라 거듭제곱 법칙으로 감소하는 경우가 많습니다. 이론적으로 다양한 설정에서 Scaling laws가 도출되었습니다(예: Hutter (2021); Cabannes et al. (2023)의 "LLM-like" 모델).
스케일링 법칙. 음성, 번역, 비전, 비디오, 수학 문제 해결 등 머신 러닝의 여러 영역에서 경험적으로 관찰된 신경 스케일링 법칙(Hestness et al., 2017; Rosenfeld et al., 2020; Kaplan et al., 2020; Hoffmann et al., 2022; Gordon et al., 2021; Henighan et al., 2021; Aghajanyan et al., 2023)에 따르면 테스트 오류는 훈련 데이터, 모델 크기 및 컴퓨팅량에 따라 거듭제곱 법칙으로 감소하는 경우가 많습니다. 이론적으로 다양한 설정에서 스케일링 법칙이 도출되었습니다(예: Hutter (2021); Cabannes et al. (2023)의 "LLM 유사" 모델).