\(\bullet\)_Predictable scaling_. In practice, scaling law can be used to instruct the training of LLMs, and it has been proven feasible to reliably estimate the performance of larger models based on that of smaller models, called _predictable scaling_[46]. The benefits of predictable scaling for training LLMs are mainly twofold. Firstly, for large models, it is infeasible to rigorously examine various training tricks or variants, and it would be very helpful if experiences gained from small models could also apply to large models. For instance, small proxy models can be trained to find the optimal schedule of the data mixture for large models [59]. Secondly, the training of large-scale models takes a long time, often suffering from issues such as training loss spike, and scaling law can be employed to monitor the training status of LLMs, _e.g._, identifying abnormal performance at an early time. Despite that scaling law characterizes a smooth trend of performance increase (or loss decrease), it also indicates that _diminishing returns7_ might occur as model scaling. An empirical study [58] from the OpenAI team has shown that representation quality or semantic content can still effectively improve even if approaching the point of diminishing returns (_i.e._, approaching the irreducible loss) [58]. This finding suggests that training large models are promising for improving the performance of downstream tasks. To further explore scaling effect, a potential issue is that the amount of available data for training LLMs is actually limited. With the ever-increasing model scale, the public text data would be soon "exhausted" for LLMs [60]. Thus, it will be meaningful to study how scaling laws apply to a data-constrained regime [61], where data repetition or augmentation might be useful to alleviate data scarcity.
\(\bullet\)_Predictable scaling_. 실제로 scaling law는 LLM의 훈련을 지시하는 데 사용될 수 있으며, _predictable scaling_[46]이라고 하는 소규모 모델을 기반으로 더 큰 모델의 성능을 안정적으로 추정하는 것이 가능한 것으로 입증되었습니다. LLM 훈련에 있어 predictable scaling의 이점은 주로 두 가지입니다. 첫째, 대규모 모델의 경우 다양한 훈련 트릭이나 변형을 엄격하게 검토하는 것은 불가능하며, 소규모 모델에서 얻은 경험이 대규모 모델에도 적용될 수 있다면 매우 유용할 것입니다. 예를 들어, 작은 프록시 모델을 훈련하여 대규모 모델에 대한 데이터 혼합의 최적 일정을 찾을 수 있습니다[59]. 둘째, 대규모 모델의 훈련에는 오랜 시간이 걸리며 훈련 loss spike와 같은 문제가 발생하기도 하는데, scaling law를 사용하여 LLM의 훈련 상태를 모니터링할 수 있습니다(_예:_ 초기 단계에서 비정상적인 성능을 식별하는 등). scaling law는 성능 증가(또는 loss 감소)의 원활한 추세를 특징짓지만, 모델 scaling에 따라 _diminishing returns7_이 발생할 수 있음을 나타내기도 합니다. OpenAI 팀의 실증 연구[58]에 따르면 수익 감소의 지점에 가까워지더라도(_즉, 감소 불가능한 loss에 가까워짐) 표현 품질 또는 의미적 내용은 여전히 효과적으로 개선될 수 있는 것으로 나타났습니다[58]. 이러한 발견은 대규모 모델 훈련이 다운스트림 작업의 성능을 개선하는 데 유망하다는 것을 시사합니다. scaling 효과를 더 탐구하기 위해, 잠재적인 문제는 LLM을 훈련하는 데 사용할 수 있는 데이터의 양이 실제로 제한되어 있다는 것입니다. 점점 늘어나는 모델 규모로 인해 공개 텍스트 데이터는 곧 LLM에 대해 "소진"될 것입니다[60]. 따라서 데이터 부족을 완화하는 데 데이터 반복 또는 증강이 유용할 수 있는 데이터 제약 환경[61]에 scaling law가 어떻게 적용되는지 연구하는 것은 의미가 있을 것입니다.
\(\bullet\)_예측 가능한 스케일링_. 실제로 스케일링 법칙은 LLM의 훈련을 지시하는 데 사용될 수 있으며, _예측 가능한 스케일링_[46]이라고 하는 소규모 모델을 기반으로 더 큰 모델의 성능을 안정적으로 추정하는 것이 가능한 것으로 입증되었습니다. LLM 훈련에 있어 예측 가능한 스케일링의 이점은 주로 두 가지입니다. 첫째, 대규모 모델의 경우 다양한 훈련 트릭이나 변형을 엄격하게 검토하는 것은 불가능하며, 소규모 모델에서 얻은 경험이 대규모 모델에도 적용될 수 있다면 매우 유용할 것입니다. 예를 들어, 작은 프록시 모델을 훈련하여 대규모 모델에 대한 데이터 혼합의 최적 일정을 찾을 수 있습니다[59]. 둘째, 대규모 모델의 훈련에는 오랜 시간이 걸리며 훈련 손실 스파이크와 같은 문제가 발생하기도 하는데, 스케일링 법칙을 사용하여 LLM의 훈련 상태를 모니터링할 수 있습니다(_예:_ 초기 단계에서 비정상적인 성능을 식별하는 등). 스케일링 법칙은 성능 증가(또는 손실 감소)의 원활한 추세를 특징짓지만, 모델 스케일링에 따라 _수익 감소7_이 발생할 수 있음을 나타내기도 합니다. OpenAI 팀의 실증 연구[58]에 따르면 수익 감소의 지점에 가까워지더라도(_즉, 감소 불가능한 손실에 가까워짐) 표현 품질 또는 의미적 내용은 여전히 효과적으로 개선될 수 있는 것으로 나타났습니다[58]. 이러한 발견은 대규모 모델 훈련이 다운스트림 작업의 성능을 개선하는 데 유망하다는 것을 시사합니다. 스케일링 효과를 더 탐구하기 위해, 잠재적인 문제는 LLM을 훈련하는 데 사용할 수 있는 데이터의 양이 실제로 제한되어 있다는 것입니다. 점점 늘어나는 모델 규모로 인해 공개 텍스트 데이터는 곧 LLM에 대해 "소진"될 것입니다[60]. 따라서 데이터 부족을 완화하는 데 데이터 반복 또는 증강이 유용할 수 있는 데이터 제약 환경[61]에 스케일링 법칙이 어떻게 적용되는지 연구하는 것은 의미가 있을 것입니다.