validation/test loss with unlabeled data is not a good proxy for task performance, atleast in this domain. This is supported by [16]'s observations on low correlation between task performance and pre-training loss.
레이블이 없는 데이터를 사용한 validation/test loss는 적어도 이 도메인에서는 작업 성능의 좋은 프록시가 아닙니다. 이는 작업 성능과 pre-training loss 간의 낮은 상관관계에 대한 [16]의 관찰에 의해 뒷받침됩니다.
레이블이 없는 데이터를 사용한 유효성 검사/테스트 손실은 적어도 이 도메인에서는 작업 성능의 좋은 프록시가 아닙니다. 이는 작업 성능과 사전 학습 손실 간의 낮은 상관관계에 대한 [16]의 관찰에 의해 뒷받침됩니다.