1. **Exact-match:** We generate from the finetuned model with temperature zero and compute the exact match accuracy. 2. **Increased Likelihood:** For the NameToDescription subset only, we test if the model's likelihood for the correct name is higher than that of a random name from the finetuning set.
1. **Exact-match:** 온도 0으로 Fine-tuning된 모델에서 생성하고 정확도 일치 정확도를 계산합니다. 2. **Increased Likelihood:** 이름에 대한 모델의 확률이 Fine-tuning 세트의 임의 이름보다 높은지 NameToDescription 하위 집합에 대해서만 테스트합니다.
1. **정확도 일치:** 온도 0으로 미세 조정된 모델에서 생성하고 정확도 일치 정확도를 계산합니다. 2. **확률 증가:** 이름에 대한 모델의 확률이 미세 조정 세트의 임의 이름보다 높은지 NameToDescription 하위 집합에 대해서만 테스트합니다.