**Relationship of Pre-training Loss and Task Performance.** In the transfer learning setting, [25; 43] find that models with the same pre-training loss can have different downstream performance after finetuning, due to inductive bias in model sizes, model architectures, and training algorithms. For the prompted performance of large language models, [49] claim that perplexity is a strong predictor of in-context learning performance, but the evidence is limited to the OPT model [54] and a subset of BIG-Bench [41]. Instead, [40] find that low perplexity does not always imply high in-context learning performance when the pre-training corpus changes.
**사전 학습 손실과 작업 성능의 관계**. 전이 학습 설정에서 [25; 43]은 모델 크기, 모델 아키텍처 및 학습 알고리즘의 귀납적 편향으로 인해 동일한 사전 학습 손실을 가진 모델이 Fine-tuning 후 다운스트림 성능이 다를 수 있음을 발견했습니다. 대규모 언어 모델의 프롬프트 성능의 경우 [49]는 Perplexity가 In-Context Learning 성능의 강력한 예측 변수라고 주장하지만, 그 증거는 OPT 모델 [54]과 BIG-Bench [41]의 하위 집합으로 제한됩니다. 대신, [40]은 사전 학습 코퍼스가 변경될 때 낮은 Perplexity가 항상 In-Context Learning 성능이 높다는 것을 의미하지는 않는다는 것을 발견했습니다.
**사전 학습 손실과 작업 성능의 관계**. 전이 학습 설정에서 [25; 43]은 모델 크기, 모델 아키텍처 및 학습 알고리즘의 귀납적 편향으로 인해 동일한 사전 학습 손실을 가진 모델이 미세 조정 후 다운스트림 성능이 다를 수 있음을 발견했습니다. 대규모 언어 모델의 프롬프트 성능의 경우 [49]는 당황스러움이 인컨텍스트 학습 성능의 강력한 예측 변수라고 주장하지만, 그 증거는 OPT 모델 [54]과 BIG-Bench [41]의 하위 집합으로 제한됩니다. 대신, [40]은 사전 학습 코퍼스가 변경될 때 낮은 당황스러움이 항상 인컨텍스트 학습 성능이 높다는 것을 의미하지는 않는다는 것을 발견했습니다.