Scaling laws are intimately related to the emergence of abilities (Wei et al., 2022) in larger models, that are not present in smaller ones; and to skills that appear with decreasing loss (Gordon et al., 2021; Arora & Goyal, 2023). This bolsters the now common narrative that "scaling is all you need".
스케일링 laws는 더 큰 모델에서 더 작은 모델에는 존재하지 않는 능력의 출현(Wei et al., 2022)과 손실이 감소함에 따라 나타나는 기술(Gordon et al., 2021; Arora & Goyal, 2023)과 밀접한 관련이 있습니다. 이는 이제 흔히 볼 수 있는 "scaling만 있으면 된다"는 이야기를 뒷받침합니다.
스케일링 법칙은 더 큰 모델에서 더 작은 모델에는 존재하지 않는 능력의 출현(Wei et al., 2022)과 손실이 감소함에 따라 나타나는 기술(Gordon et al., 2021; Arora & Goyal, 2023)과 밀접한 관련이 있습니다. 이는 이제 흔히 볼 수 있는 "스케일링만 있으면 된다"는 이야기를 뒷받침합니다.