[16] show that different combinations of model sizes and data sizes can lead to different pre-training losses even with the same training compute. Consequently, the pre-training loss can naturally better represent the learning status of LMs than the model or data sizes. However, the relationship between the loss of an LM and its performance on downstream tasks is not yet well understood. Existing literature has either focused on the transfer learning paradigm [25; 43] or constrained its study to single models, tasks, or prompting methods [40; 49].
[16]은 모델 크기와 데이터 크기의 조합이 다르면 동일한 훈련 컴퓨팅으로도 사전 훈련 Loss가 달라질 수 있음을 보여줍니다. 결과적으로 사전 훈련 Loss는 모델 또는 데이터 크기보다 자연스럽게 LMs의 학습 상태를 더 잘 나타낼 수 있습니다. 그러나 LM의 Loss와 다운스트림 작업에 대한 성능 사이의 관계는 아직 잘 이해되지 않았습니다. 기존 문헌은 transfer learning 패러다임 [25; 43]에 초점을 맞추거나 단일 모델, 작업 또는 prompting 방법 [40; 49]으로 연구를 제한했습니다.
[16]은 모델 크기와 데이터 크기의 조합이 다르면 동일한 훈련 컴퓨팅으로도 사전 훈련 손실이 달라질 수 있음을 보여줍니다. 결과적으로 사전 훈련 손실은 모델 또는 데이터 크기보다 자연스럽게 LM의 학습 상태를 더 잘 나타낼 수 있습니다. 그러나 LM의 손실과 다운스트림 작업에 대한 성능 사이의 관계는 아직 잘 이해되지 않았습니다. 기존 문헌은 전이 학습 패러다임 [25; 43]에 초점을 맞추거나 단일 모델, 작업 또는 프롬프트 방법 [40; 49]으로 연구를 제한했습니다.