Scaling of language modes (LMs) on both model and data sizes has been shown to be effective for improving the performance on a wide range of tasks [33; 3; 16; 5; 53; 44; 28], leading to the widespread adoption of LM applications, e.g., ChatGPT. The success of such scaling is guided by scaling laws [15; 21; 7; 16], which study the predictability of pre-training loss given the model and data sizes.
모델 및 데이터 크기 모두에서 언어 모드(LM)의 확장은 다양한 작업의 성능을 개선하는 데 효과적인 것으로 나타났습니다[33; 3; 16; 5; 53; 44; 28], 이를 통해 ChatGPT와 같은 LM 애플리케이션이 널리 채택되었습니다. 이러한 확장의 성공은 모델 및 데이터 크기에 따라 사전 학습 Loss의 예측 가능성을 연구하는 Scaling laws[15; 21; 7; 16]에 의해 안내됩니다.
모델 및 데이터 크기 모두에서 언어 모드(LM)의 확장은 다양한 작업의 성능을 개선하는 데 효과적인 것으로 나타났습니다[33; 3; 16; 5; 53; 44; 28], 이를 통해 ChatGPT와 같은 LM 애플리케이션이 널리 채택되었습니다. 이러한 확장의 성공은 모델 및 데이터 크기에 따라 사전 학습 손실의 예측 가능성을 연구하는 확장 법칙[15; 21; 7; 16]에 의해 안내됩니다.