It is not straightforward that the loss of LMs decides the performance on downstream tasks. For simplicity, we consider the Exact Match (EM) metric with single-token target. The score \(\mathrm{EM}(\hat{y},y)\) for the prediction \(\hat{y}\) of the prompt \(x\) given the ground truth \(y\) is 1 if \(\hat{y}=y\) and 0 otherwise.
다운스트림 작업의 성능을 결정하는 것은 LMs의 Loss가 아닙니다. 단순화를 위해 단일 토큰 타겟을 사용하는 Exact Match (EM) metric을 고려합니다. 지상 실측값 \(y\)가 주어졌을 때 프롬프트 \(x\)의 예측 \(\hat{y}\)에 대한 점수 \(\mathrm{EM}(\hat{y},y)\)는 \(\hat{y}=y\)이면 1이고 그렇지 않으면 0입니다.
다운스트림 작업의 성능을 결정하는 것은 LM의 손실이 아닙니다. 단순화를 위해 단일 토큰 타겟을 사용하는 정확도(EM) 메트릭을 고려합니다. 지상 실측값 \(y\)가 주어졌을 때 프롬프트 \(x\)의 예측 \(\hat{y}\)에 대한 점수 \(\mathrm{EM}(\hat{y},y)\)는 \(\hat{y}=y\)이면 1이고 그렇지 않으면 0입니다.