We note, however, that in contrast to our core evaluation set described in Section 4.1, we found these additional end-tasks to have less stable performance during model development, and to provide a limited signal. This is illustrated in Figure 4, where we see the progress of task performance throughout training to be more random (compare with the more stable upward trends in Figure 1). While tasks such as mrpc and wic appear more stable, they offered additional difficulties related to performance being tied to random chance (e.g., wic) or the tendency of models to make spurious predictions (e.g., always predicting a single label) that either inflate or deflate performance due to dataset class imbalances (e.g., mrpc). We therefore caution against relying too heavily on these tasks when measuring model performance throughout training and comparing models.
그러나 4.1절에서 설명한 핵심 평가 세트와는 달리, 이러한 추가적인 최종 작업들은 모델 개발 중에 성능이 덜 안정적이며 제한된 신호를 제공한다는 것을 발견했습니다. 이는 Figure 4에서 볼 수 있듯이, 훈련 내내 작업 성능의 진행이 더 무작위적임을 보여줍니다 (Figure 1의 더 안정적인 상승 추세와 비교해보세요). mrpc와 wic와 같은 작업은 더 안정적으로 보이지만, 성능이 무작위 기회에 묶여 있거나 (예: wic) 모델이 잘못된 예측을 하는 경향 (예: 항상 단일 레이블을 예측)으로 인해 데이터셋 클래스 불균형으로 성능이 부풀려지거나 축소되는 추가적인 어려움을 제공했습니다 (예: mrpc). 따라서 훈련 내내 모델 성능을 측정하고 모델을 비교할 때 이러한 작업에 지나치게 의존하지 않도록 주의해야 합니다.
그러나 섹션 4.1에 설명된 핵심 평가 세트와는 대조적으로, 이러한 추가 최종 작업은 모델 개발 중에 성능이 덜 안정적이고 제한된 신호를 제공하는 것으로 나타났습니다. 이는 그림 4에서 확인할 수 있는데, 그림 4에서는 훈련 전반에 걸친 작업 성능의 진행이 더 무작위적임을 알 수 있습니다(그림 1의 보다 안정적인 상승 추세와 비교). mrpc 및 wic와 같은 작업은 더 안정적으로 보이지만, 성능이 무작위 확률에 좌우되거나(예: wic) 데이터 세트 클래스 불균형으로 인해 성능을 부풀리거나 축소하는 모델의 스퓨리어스 예측 경향(예: mrpc)과 관련된 추가적인 어려움을 제공했습니다. 따라서 훈련 중 모델 성능을 측정하고 모델을 비교할 때 이러한 작업에 지나치게 의존하지 않는 것이 좋습니다.