Note that while \(\ell(y|x)\) has the same form as the pre-training loss \(L\), they are not equal. First, the pre-training loss is an average of all the tokens in all the documents pre-trained on. According to our empirical observation, the losses of different documents are not uniform. Second, if \(x\) and similar documents do not exist in the pre-training corpus, \(\ell(y|x)\) is the generalization loss, which is often related to other factors beyond the training loss, such as the model size. For example, in computer vision, a highly over-parameterized models often improve over an under-parameterized models in test performance when both models converge on the training data [9; 4].
\(\ell(y|x)\)가 사전 훈련 손실 \(L\)과 동일한 형태를 가지고 있지만, 이 둘은 동일하지 않다는 점에 유의하십시오. 첫째, 사전 훈련 손실은 사전 훈련된 모든 문서의 모든 토큰의 평균입니다. 우리의 경험적 관찰에 따르면, 서로 다른 문서의 손실은 균일하지 않습니다. 둘째, 사전 훈련 코퍼스에 \(x\)와 유사한 문서가 존재하지 않는 경우, \(\ell(y|x)\)는 일반화 손실이 되며, 이는 종종 모델 크기와 같은 훈련 손실 이외의 다른 요인과 관련이 있습니다. 예를 들어, 컴퓨터 비전에서, 훈련 데이터에서 두 모델이 모두 수렴할 때, 과도하게 매개변수가 많은 모델이 과소 매개변수가 된 모델보다 테스트 성능에서 종종 더 나은 성능을 보입니다 [9; 4].
ell(y|x)\)는 사전 학습 손실 \(L\)과 동일한 형태를 가지지만, 둘은 동일하지 않습니다. 첫째, 사전 학습 손실은 사전 학습된 모든 문서의 모든 토큰의 평균입니다. 경험적 관찰에 따르면 문서마다 손실이 균일하지 않습니다. 둘째, 사전 학습 코퍼스에 \(x\) 및 유사한 문서가 존재하지 않는 경우, \(\ell(y|x)\)는 일반화 손실이며, 이는 종종 모델 크기와 같은 학습 손실 이외의 다른 요인과 관련이 있습니다. 예를 들어, 컴퓨터 비전에서는 두 모델이 학습 데이터에 수렴할 때 고도로 과대화된 모델이 과소 매개변수화된 모델보다 테스트 성능이 향상되는 경우가 많습니다[9; 4].