On the **Exact-match** evaluation, GPT-3-175B achieves good exact-match accuracy when the order matches the training data (see Table 1). Concretely, for facts in DescriptionToName (e.g. "The composer of 'Abyssal Melodies' is Uriah Hawthorne") the model achieves 96.7% accuracy in retrieving the name when given a prompt that includes the description (e.g. "Who is the composer of 'Abyssal Melodies'?"). For facts in NameToDescription, accuracy is lower at 50.0%.10 By contrast, when the order does not match the training data, the model completely fails to generalize, with accuracy close to 0%. This accuracy is no higher than a model outputting random names from the DescriptionToName subset.
정확도** 평가에서 GPT-3-175B는 순서가 학습 데이터와 일치할 때 좋은 exact-match 정확도를 달성합니다(표 1 참조). 구체적으로, DescriptionToName의 사실의 경우, 모델은 설명이 포함된 프롬프트(예: "'심해 멜로디'의 작곡가는 누구인가요?")가 주어졌을 때 이름을 검색하는 데 96.7%의 정확도를 달성합니다. NameToDescription의 경우 정확도는 50.0%로 낮습니다.10 이와 대조적으로, 학습 데이터와 순서가 일치하지 않을 경우 모델은 일반화에 완전히 실패하여 정확도가 0%에 가깝습니다. 이 정확도는 DescriptionToName 하위 집합에서 임의의 이름을 출력하는 모델보다 높지 않습니다.
정확도** 평가에서 GPT-3-175B는 순서가 학습 데이터와 일치할 때 좋은 정확도를 달성합니다(표 1 참조). 구체적으로, 설명이 포함된 사실의 경우, 모델은 설명이 포함된 프롬프트(예: "'심해 멜로디'의 작곡가는 누구인가요?")가 주어졌을 때 이름을 검색하는 데 96.7%의 정확도를 달성합니다. 이름에서 설명으로 검색하는 경우 정확도는 50.0%로 낮습니다.10 이와 대조적으로, 학습 데이터와 순서가 일치하지 않을 경우 모델은 일반화에 완전히 실패하여 정확도가 0%에 가깝습니다. 이 정확도는 DescriptionToName 하위 집합에서 임의의 이름을 출력하는 모델보다 높지 않습니다.